EMPA: 페르소나에 부합하는 공감 능력 평가 방법론

EMPA: Evaluating Persona-Aligned Empathy as a Process

LLM 기반 대화형 에이전트에서 페르소나에 부합하는 공감 능력을 평가하는 것은 여전히 어려운 과제입니다. 사용자의 상태는 잠재적으로 존재하며, 피드백은 부족하고 현장에서 검증하기 어렵습니다. 또한, 겉보기에는 지지적인 답변이라도, 페르소나 특유의 요구 사항에서 벗어나는 방향으로 이어질 수 있습니다. 본 논문에서는 EMPA라는 프로세스 지향적인 프레임워크를 소개합니다. EMPA는 개별 답변보다는 지속적인 상호작용으로서 페르소나에 부합하는 지원을 평가합니다. EMPA는 실제 상호작용을 제어 가능하고 심리학적으로 타당한 시나리오로 변환하고, 전략적 적응 및 실패 양상을 보여주는 개방형 멀티 에이전트 환경과 결합합니다. 또한, 잠재적인 심리적 공간에서 방향성 일치, 누적적 영향, 안정성을 기준으로 트랙별 점수를 매깁니다. 이러한 신호 및 지표는 장기적인 공감 행동의 재현 가능한 비교 및 최적화를 지원하며, 잠재적인 역학 관계와 취약하고 검증하기 어려운 피드백으로 인해 발생하는 다른 에이전트 환경에도 적용될 수 있습니다.

Evaluating persona-aligned empathy in LLM-based dialogue agents remains challenging. User states are latent, feedback is sparse and difficult to verify in situ, and seemingly supportive turns can still accumulate into trajectories that drift from persona-specific needs. We introduce EMPA, a process-oriented framework that evaluates persona-aligned support as sustained intervention rather than isolated replies. EMPA distills real interactions into controllable, psychologically grounded scenarios, couples them with an open-ended multi-agent sandbox that exposes strategic adaptation and failure modes, and scores trajectories in a latent psychological space by directional alignment, cumulative impact, and stability. The resulting signals and metrics support reproducible comparison and optimization of long-horizon empathic behavior, and they extend to other agent settings shaped by latent dynamics and weak, hard-to-verify feedback.