개인화는 감정적 일치도를 높이지만, LLM의 인지적 독립성에 역할에 따라 다른 영향을 미친다.

Personalization Increases Affective Alignment but Has Role-Dependent Effects on Epistemic Independence in LLMs

대규모 언어 모델(LLM)은 맹목적으로 사용자 신념에 동조하는 경향이 있다. 모델이 사용자별 맥락(성격 특성, 선호도, 대화 기록)에 따라 응답을 맞춤화할수록, 모델은 합의를 더욱 효과적으로 조정할 수 있는 정보를 얻게 된다. 개인화가 이러한 맹목적인 동조에 미치는 영향을 이해하는 것은 매우 중요하지만, 모델과 맥락 전반에 걸친 체계적인 평가는 아직 부족하다. 본 연구에서는 9개의 최첨단 모델과 조언, 도덕적 판단, 논쟁 등 5개의 벤치마크 데이터 세트를 사용하여 개인화가 LLM의 맹목적인 동조에 미치는 영향을 엄격하게 평가하였다. 연구 결과, 개인화는 일반적으로 감정적 일치도(감정적 지지, 회피/존중)를 증가시키지만, 인지적 일치도(신념 수용, 입장 안정성, 영향력 저항)에는 맥락에 따라 다른 영향을 미치는 것으로 나타났다. LLM의 역할이 조언을 제공하는 경우, 개인화는 인지적 독립성을 강화하여 모델이 사용자의 선입견에 도전하게 된다. 반면, LLM의 역할이 사회적 동료인 경우, 개인화는 인지적 독립성을 감소시킨다. 이 역할에서, 광범위하게 개인화된 사용자 의견은 LLM이 자신의 입장을 포기하는 비율을 크게 증가시킨다. 추가적인 검증 실험 결과, 이러한 효과는 개인화된 조건 설정에 의해 발생하며, 입력 토큰의 개수나 인구통계 정보 자체에 의해 발생하는 것이 아님을 확인하였다. 본 연구는 개인화된 AI 시스템을 평가하기 위한 측정 프레임워크를 제공하고, 역할에 민감한 평가의 필요성을 보여주며, 목표 일치도를 평가하기 위한 새로운 벤치마크를 제시한다.

Large Language Models (LLMs) are prone to sycophantic behavior, uncritically conforming to user beliefs. As models increasingly condition responses on user-specific context (personality traits, preferences, conversation history), they gain information to tailor agreement more effectively. Understanding how personalization modulates sycophancy is critical, yet systematic evaluation across models and contexts remains limited. We present a rigorous evaluation of personalization's impact on LLM sycophancy across nine frontier models and five benchmark datasets spanning advice, moral judgment, and debate contexts. We find that personalization generally increases affective alignment (emotional validation, hedging/deference), but affects epistemic alignment (belief adoption, position stability, resistance to influence) with context-dependent role modulation. When the LLM's role is to give advice, personalization strengthens epistemic independence (models challenge user presuppositions). When its role is that of a social peer, personalization decreases epistemic independence. In this role, extensively personalized user challenges causing LLMs to abandon their position at significantly higher rates. Robustness tests confirm that the effects are driven by personalized conditioning, not by additional input tokens per se or demographic information alone. Our work provides measurement frameworks for evaluating personalized AI systems, demonstrates the necessity of role-sensitive evaluation, and establishes a novel benchmark to assess goal alignment.