PLURAL: 가치 정렬을 위한 글로벌 데이터셋

PLURAL: A Global Dataset for Value Alignment

대규모 언어 모델(LLM)은 전 세계적으로 사용되고 있지만, 서구의 가치를 과도하게 반영하여 다양한 가치 체계를 대표하는 능력을 제한합니다. 본 연구에서는 통합 가치 조사(Integrated Values Survey, IVS)를 기반으로 구축된 대규모 가치 중심 선호 데이터셋인 PLURAL을 소개합니다. IVS는 92개 국가를 대상으로 한 전국적 대표 조사를 통해 수집된 데이터를 활용합니다. 우리는 두 단계로 구성된 생성 파이프라인을 사용하여 설문 조사 응답을 합성된 선호 트리플렛으로 변환하며, 이를 통해 규범적 가치 신호를 유지하면서도 현실적인 시나리오를 생성합니다. PLURAL의 초기 버전을 공개하며, 이 버전은 20개 다양한 국가의 사람들을 대표하는 약 50만 개의 선호 트리플렛을 포함하고 있습니다. 우리는 PLURAL을 세 가지 방법으로 평가했습니다: (i) 데이터셋 수준 검증을 통해 원래 설문 조사에서 관찰되는 국가 간 가치 차이와 국가 내 다양성을 유지하는지 확인합니다. (ii) 자동화된 평가는 PLURAL을 사용하여 학습하면 대상 국가의 문화적 특징과 더 잘 일치하며, 기존 모델에 비해 평균 절대 오차를 최대 27.7%까지 줄일 수 있음을 보여줍니다. (iii) 인도, 브라질, 일본의 176명의 평가자가 참여한 익명 인간 평가에서는 PLURAL을 사용하여 생성된 응답이 해당 국가의 가치를 더 잘 반영하는 것으로 판단되었습니다. 이러한 결과들을 종합적으로 고려하면, PLURAL은 다양한 가치 정렬을 위한 확장 가능한 자원으로서 학습 가능한 가치 지향 신호를 포함하고 있음을 알 수 있습니다. 데이터셋: https://huggingface.co/datasets/agdhruv/plural-alignment

Large language models (LLMs) are used worldwide, yet disproportionately reflect Western values, limiting their ability to represent diverse value systems. We introduce PLURAL, a large-scale, value-focused preference dataset grounded in the Integrated Values Survey (IVS), a nationally representative survey spanning 92 countries. Using a two-stage generation pipeline, we transform survey responses into synthetic preference triplets that preserve normative value signals while producing realistic scenarios. We release an initial version of PLURAL containing ~500,000 preference triplets representing people in 20 diverse countries. We evaluate PLURAL in three ways: (i) dataset-level validation showing that it preserves both cross-country value differences and within-country diversity from the original survey; (ii) automated evaluation showing that training on PLURAL improves alignment with target countries' cultural profiles, reducing mean absolute error by up to 27.7% relative to strong baselines; and (iii) blind human evaluation with 176 evaluators in India, Brazil, and Japan, who judge PLURAL-aligned responses as more representative of their national values. Together, these results show that PLURAL contains learnable signal for value steering, offering a scalable resource for pluralistic alignment. Dataset: https://huggingface.co/datasets/agdhruv/plural-alignment