우리가 놓치고 있는 페르소나는 무엇인가? 충실한 사용자 시뮬레이션을 위한 알려지지 않은 관련 페르소나 식별

What Persona Are We Missing? Identifying Unknown Relevant Personas for Faithful User Simulation

대화에서 사용자와 유사한 응답을 생성하는 기존 사용자 시뮬레이션은 종종 제공되는 사용자 페르소나가 충분한지 확인하지 못하여 시뮬레이션의 유효성에 의문을 제기합니다. 이러한 핵심 문제를 해결하기 위해, 본 연구는 특정 시뮬레이션 환경에서 시뮬레이션 대상에 관련된 알려지지 않은 페르소나를 식별하는 작업을 탐구합니다. 본 연구에서는 문맥 인지 질문 데이터셋인 PICQ를 소개합니다. PICQ는 알려지지 않은 페르소나(예: '사용자가 가격에 민감한가?')와 같은 라벨이 있으며, 이는 사용자 선택에 영향을 미칠 수 있습니다. 또한, 충실도, 영향력, 접근 불가능성을 평가하는 다각적인 평가 체계를 제안합니다. 선도적인 LLM을 벤치마킹한 결과, 모델 크기에 따라 '충실도 대 통찰력'이라는 복잡한 딜레마가 발생하는 것을 확인했습니다. 일반적으로 영향력은 모델 크기에 비례하지만, 인간 패턴에 대한 충실도는 역 U자형 곡선을 따릅니다. 이러한 현상은 인지적 차이, 특히 인간의 '인지 경제' 경향으로 인해 발생합니다. 본 연구는 이 중요한 작업에 대한 최초의 종합적인 벤치마크를 제공하며, 인간과 고급 LLM의 다양한 인지 모델을 이해하는 새로운 관점을 제시합니다.

Existing user simulations, where models generate user-like responses in dialogue, often lack verification that sufficient user personas are provided, questioning the validity of the simulations. To address this core concern, this work explores the task of identifying relevant but unknown personas of the simulation target for a given simulation context. We introduce PICQ, a novel dataset of context-aware choice questions, annotated with unknown personas (e.g., ''Is the user price-sensitive?'') that may influence user choices, and propose a multi-faceted evaluation scheme assessing fidelity, influence, and inaccessibility. Our benchmark of leading LLMs reveals a complex ''Fidelity vs. Insight'' dilemma governed by model scale: while influence generally scales with model size, fidelity to human patterns follows an inverted U-shaped curve. We trace this phenomenon to cognitive differences, particularly the human tendency for ''cognitive economy.'' Our work provides the first comprehensive benchmark for this crucial task, offering a new lens for understanding the divergent cognitive models of humans and advanced LLMs.