고정된 심리적 페르소나를 넘어: 상태가 특성보다 중요하지만, 언어 모델은 상태에 무관심하다

Beyond Fixed Psychological Personas: State Beats Trait, but Language Models are State-Blind

사용자와 언어 모델 간의 상호 작용은 사용자의 고유한 특성(trait)과 특정 상호 작용 맥락(state)에 따라 달라집니다. 그러나 기존의 페르소나 데이터셋(PersonaChat, PANDORA 등)은 특성만을 담고 있으며, 상태의 영향을 간과합니다. 본 연구에서는 1,667명의 Reddit 사용자를 대상으로, 다양한 맥락에서 측정된 5,001개의 상황별 심리 프로필을 담은 데이터셋인 Chameleon을 소개합니다. Chameleon 데이터셋을 활용하여 다음과 같은 세 가지 주요 결과를 제시합니다. 첫째, 잠재적 상태-특성 이론에 영감을 받아 분산을 분석한 결과, 74%는 개인 내 변동(state)에 해당하며, 26%만이 개인 간 변동(trait)에 해당했습니다. 둘째, 언어 모델은 상태에 무관심하며, 특성만을 고려하여 상태에 관계없이 유사한 응답을 생성한다는 것을 확인했습니다. 셋째, 보상 모델은 사용자 상태에 반응하지만, 일관성이 부족합니다. 즉, 서로 다른 모델이 동일한 사용자를 서로 반대 방향으로 선호하거나 불이익을 주는 경향을 보였습니다. 본 연구에서는 Chameleon 데이터셋을 공개하여 감정 컴퓨팅, 개인화된 대화, 그리고 강화 학습 기반의 인간 피드백(RLHF) 정렬 연구를 지원하고자 합니다.

User interactions with language models vary due to static properties of the user (trait) and the specific context of the interaction (state). However, existing persona datasets (like PersonaChat, PANDORA etc.) capture only trait, and ignore the impact of state. We introduce Chameleon, a dataset of 5,001 contextual psychological profiles from 1,667 Reddit users, each measured across multiple contexts. Using the Chameleon dataset, we present three key findings. First, inspired by Latent State-Trait theory, we decompose variance and find that 74\% is within-person(state) while only 26\% is between-person (trait). Second, we find that LLMs are state-blind: they focus on trait only, and produce similar responses regardless of state. Third, we find that reward models react to user state, but inconsistently: different models favor or penalize the same users in opposite directions. We release Chameleon to support research on affective computing, personalized dialogue, and RLHF alignment.