PALMs: 다중 구성 요소 기반 논리를 활용하여 LLM에서 인구 집단의 선호도를 모델링하는 방법

PALMs: Using Multi Construct-Grounded Rationales for Modeling Population Preferences in LLMs

대규모 언어 모델은 개별 사용자 행동을 시뮬레이션하는 데 광범위하게 사용되고 있지만, 인구 전체를 정확하게 표현하려면 서로 다른 집단을 구별하는 가치관, 신념 및 문화적 규범의 체계적인 차이를 포착해야 합니다. 본 논문에서는 Population Aligned Language Models (PALMs)라는 모델들을 소개합니다. PALMs는 특정 인구에 맞춰 설계된 모델 모음으로, 미국, 인도, 브라질, 프랑스 및 이탈리아를 포함한 5개 국가를 대상으로 합니다. PALMs는 심리학적 및 문화적 구성 요소를 기반으로 한 논리를 합성하고, 이를 사용하여 인구별 맞춤 설정을 위한 선호도 조정 과정에서 잠재적인 감독 신호로 활용합니다. 성격, 가치관 및 신념, 문화적 규범, 도덕성의 네 가지 측면에서 평가한 결과, PALMs는 기존 모델뿐만 아니라 문화 특화 모델까지 능가하는 성능을 보였습니다. 평균적으로 5개 인구 집단 모두에서 최상의 기준 모델보다 8.59% 향상된 성능을 달성했습니다. 특히, 구성 요소 기반 논리는 인구 통계 정보 프롬프트 및 설문 조사 기반 미세 조정보다 우수한 성능을 보였으며, 이는 선호도 학습에 심리학 및 문화를 접목하면 표면적인 응답 분포보다 풍부한 유도 신호를 제공한다는 것을 시사합니다. 또한, PALMs는 작업별 감독 없이 다운스트림 애플리케이션에서도 강력한 일반화 성능을 보여주었으며, 개인 맞춤형 보상 모델링에서 5.19%, 인구 시뮬레이션에서 6.34% 향상된 성능을 보였고, 사회적 추론 과제에도 높은 수준의 전이 성능을 나타냈습니다. 데이터셋 및 코드는 다음 주소에서 확인할 수 있습니다: https://github.com/limenlp/PALMs.

Large language models are being extensively used to simulate individual user behavior, yet faithfully representing a population requires capturing the systematic variation in values, beliefs, and cultural norms that distinguish one group from another. We introduce Population Aligned Language Models (PALMs), a suite of models each aligned to specific populations, covering five countries: USA, India, Brazil, France and Italy. PALMs are created by synthesizing rationales grounded in psychological and cultural constructs and using these as latent supervision during preference tuning for population-specific alignment. Evaluated across four dimensions: personality, values and beliefs, cultural norms, and morality, PALMs consistently outperform baselines, including culture-specialized models, achieving an average of 8.59% relative improvement over the best baseline across all five populations. Notably, construct-grounded rationales outperform both demographic prompting and survey-based fine-tuning, suggesting that grounding preference learning in psychology and culture provides a richer inductive signal than surface-level response distributions. We further demonstrate strong generalization to downstream applications with- out task-specific supervision: outperforming best baselines by 5.19% in personalized reward modeling, 6.34% in population simulation, and showing strong transfer to social reasoning tasks. Datasets and code are available at: https://github.com/limenlp/PALMs.