누가 의견이 다른지 학습하기: DiADEM을 이용한 어노테이터 분포 모델링을 위한 인구 통계적 중요도 가중치

Learning Who Disagrees: Demographic Importance Weighting for Modeling Annotator Distributions with DiADEM

사람들이 주관적인 콘텐츠를 레이블링할 때, 의견 불일치가 발생하며, 이는 단순히 노이즈가 아닙니다. 이는 어노테이터의 사회적 정체성과 경험에 의해 형성된 관점의 진정한 차이를 반영합니다. 그러나 기존의 일반적인 방법은 이러한 판단을 하나의 다수 레이블로 단순화하며, 최근의 LLM 기반 접근 방식도 이와 다르지 않습니다. 우리는 프롬프트 기반의 대규모 언어 모델이, 심지어 체인-오브-생각 추론을 사용하더라도, 인간의 의견 불일치 구조를 제대로 파악하지 못한다는 것을 보여줍니다. 우리는 DiADEM이라는 신경망 아키텍처를 소개합니다. DiADEM은 '어떤 인구 통계적 요인이 의견 불일치를 예측하는 데 얼마나 중요한지'를 학습합니다. DiADEM은 학습된 중요도 벡터 $oldsymbolα$에 의해 제어되는 인구 통계별 투영을 통해 어노테이터를 인코딩하고, 보완적인 연결(concatenation) 및 하adamard 상호작용을 통해 어노테이터 및 항목 표현을 융합하며, 잘못 예측된 어노테이션 변동에 직접적으로 페널티를 부과하는 새로운 항목 수준의 불일치 손실을 사용하여 학습됩니다. DICES 대화 안전성 및 VOICED 정치적 공격성 벤치마크에서, DiADEM은 표준 및 관점 기반 지표에서 LLM 기반 모델 및 기존 신경망 모델을 크게 능가하며, 강력한 의견 불일치 추적 성능($r{=}0.75$ on DICES)을 달성합니다. 학습된 $oldsymbolα$ 가중치는 인종과 연령이 두 데이터 세트 모두에서 어노테이터의 의견 불일치를 유발하는 가장 중요한 인구 통계적 요인으로 지속적으로 나타나는 것을 보여줍니다. 우리의 결과는 인간의 해석적 다양성을 충실하게 반영하는 NLP 시스템을 구축하기 위해서는 어노테이터가 무엇을 레이블링하는지뿐만 아니라 '누구인지'를 명시적으로 모델링하는 것이 필수적임을 보여줍니다.

When humans label subjective content, they disagree, and that disagreement is not noise. It reflects genuine differences in perspective shaped by annotators' social identities and lived experiences. Yet standard practice still flattens these judgments into a single majority label, and recent LLM-based approaches fare no better: we show that prompted large language models, even with chain-of-thought reasoning, fail to recover the structure of human disagreement. We introduce DiADEM, a neural architecture that learns "how much each demographic axis matters" for predicting who will disagree and on what. DiADEM encodes annotators through per-demographic projections governed by a learned importance vector $\boldsymbolα$, fuses annotator and item representations via complementary concatenation and Hadamard interactions, and is trained with a novel item-level disagreement loss that directly penalizes mispredicted annotation variance. On the DICES conversational-safety and VOICED political-offense benchmarks, DiADEM substantially outperforms both the LLM-as-a-judge and neural model baselines across standard and perspectivist metrics, achieving strong disagreement tracking ($r{=}0.75$ on DICES). The learned $\boldsymbolα$ weights reveal that race and age consistently emerge as the most influential demographic factors driving annotator disagreement across both datasets. Our results demonstrate that explicitly modeling who annotators are not just what they label is essential for NLP systems that aim to faithfully represent human interpretive diversity.