교차 언어 가치 평가를 향하여: 합의-다원주의 관점

Towards Cross-lingual Values Assessment: A Consensus-Pluralism Perspective

대형 언어 모델(LLM)이 콘텐츠 안전에 중추적인 역할을 하게 되었지만, 현재의 평가 패러다임은 주로 명시적인 피해(예: 폭력 또는 혐오 발언)를 탐지하는 데 초점을 맞추고 있으며 디지털 콘텐츠에 담긴 더 미묘한 가치 차원은 간과하고 있다. 이러한 격차를 해소하기 위해, 우리는 글로벌 관점에서 콘텐츠의 심층적인 가치를 평가하는 LLM의 능력을 평가하도록 설계된 새로운 교차 언어 가치 평가 벤치마크인 X-Value를 소개한다. X-Value는 18개 언어에 걸친 5,000개 이상의 질의응답(QA) 쌍으로 구성되며, 슈워츠(Schwartz)의 기본 인간 가치 이론에 근거하여 7개의 핵심 도메인으로 체계적으로 구성되었고, 변별력 있는 평가를 위해 쉬운(easy) 수준과 어려운(hard) 수준으로 분류된다. 나아가 우리는 주어진 문제가 글로벌 합의(예: 인권)에 속하는지 다원주의(예: 종교)에 속하는지를 먼저 식별한 다음, 콘텐츠에 내재된 잠재적 가치에 대해 다자간 평가를 수행하는 독창적인 2단계 주석 프레임워크를 제안한다. X-Value에 대한 체계적인 평가 결과, 현재의 최첨단(SOTA) LLM들은 교차 언어 가치 평가에서 한계($Acc < 77\%$)를 보이며, 여러 언어 간에 상당한 성능 격차($ΔAcc > 20\%$)를 나타낸다. 이 연구는 LLM의 미묘하고 가치를 인식하는 콘텐츠 평가 능력을 향상시킬 시급한 필요성을 강조한다. 우리의 X-Value는 https://huggingface.co/datasets/Whitolf/X-Value 에서 확인할 수 있다.

While large language models (LLMs) have become pivotal to content safety, current evaluation paradigms primarily focus on detecting explicit harms (e.g., violence or hate speech), neglecting the subtler value dimensions conveyed in digital content. To bridge this gap, we introduce X-Value, a novel Cross-lingual Values Assessment Benchmark designed to evaluate LLMs' ability to assess deep-level values of content from a global perspective. X-Value consists of more than 5,000 QA pairs across 18 languages, systematically organized into 7 core domains grounded in Schwartz's Theory of Basic Human Values and categorized into easy and hard levels for discriminative evaluation. We further propose a unique two-stage annotation framework that first identifies whether an issue falls under global consensus (e.g., human rights) or pluralism (e.g., religion), and subsequently conducts a multi-party evaluation of the latent values embedded within the content. Systematic evaluations on X-Value reveal that current SOTA LLMs exhibit deficiencies in cross-lingual values assessment ($Acc < 77\%$), with significant performance disparities across different languages ($ΔAcc > 20\%$). This work highlights the urgent need to improve the nuanced, values-aware content assessment capability of LLMs. Our X-Value is available at: https://huggingface.co/datasets/Whitolf/X-Value.