EpiPersona: 페르소나 투영 및 에피소드 결합을 통한 다원적 선호도 모델링

EpiPersona: Persona Projection and Episode Coupling for Pluralistic Preference Modeling

다양한 개인 및 소수 집단의 선호도에 맞춰 대규모 언어 모델(LLM)을 적응시키기 위해서는 다원적 정렬이 필수적입니다. 그러나 기존 접근 방식은 종종 안정적인 개인적 특성과 에피소드별 요소를 혼합하여, 에피소드 간 일반화 능력을 제한하는 경향이 있습니다. 이러한 문제를 해결하기 위해, 우리는 명시적인 페르소나-에피소드 결합을 위한 프레임워크인 EpiPersona를 소개합니다. EpiPersona는 먼저 노이즈가 많은 선호도 피드백을 저차원 페르소나 공간으로 투영하여, 유사한 페르소나를 공유된 이산 코드로 집계합니다. 이 과정은 사전에 정의된 선호도 차원에 의존하지 않고, 지속적인 개인적 특성과 상황적 신호를 분리합니다. 추론된 페르소나 표현은 현재 에피소드와 결합되어, 에피소드에 대한 인식 능력이 있는 선호도 예측을 가능하게 합니다. 광범위한 실험 결과, EpiPersona는 기존 방식보다 일관되게 우수한 성능을 보였습니다. 특히, 어려운 에피소드 전환 시나리오에서 괄목할 만한 성능 향상을 보였으며, 희소한 선호도 데이터에서도 효과적인 성능을 유지합니다.

Pluralistic alignment is essential for adapting large language models (LLMs) to the diverse preferences of individuals and minority groups. However, existing approaches often mix stable personal traits with episode-specific factors, limiting their ability to generalize across episodes. To address this challenge, we introduce EpiPersona, a framework for explicit persona-episode coupling. EpiPersona first projects noisy preference feedback into a low-dimensional persona space, where similar personas are aggregated into shared discrete codes. This process separates enduring personal characteristics from situational signals without relying on predefined preference dimensions. The inferred persona representation is then coupled with the current episode, enabling episode-aware preference prediction. Extensive experiments show that EpiPersona consistently outperforms the baselines. It achieves notable performance gains in hard episodic-shift scenarios, while remaining effective with sparse preference data.