개인 맞춤형 대화 턴 레벨 사용자 만족도 평가 기준

Personalized Turn-Level User Conversation Satisfaction Benchmark

AI 어시스턴트에 대한 사용자 만족도는 매우 개인적입니다. 동일한 응답이라도 한 사용자는 만족할 수 있지만 다른 사용자는 실망할 수 있는데, 이는 각 사용자가 기대하는 바와 이전에 요청한 내용에 따라 달라지기 때문입니다. 기존의 자동 평가 방법은 대부분 일반적인 응답 품질을 측정하기 때문에 특정 대화 턴에서 응답이 사용자에게 얼마나 만족스러운지를 판단하기 어렵습니다. 본 연구에서는 이러한 문제를 개인 맞춤형 대화 턴 레벨 사용자 만족도 평가로 정의하고, 이 문제에 대한 해결책을 제시합니다. 우리는 간결한 사용자 기억과 대상 턴의 맥락을 결합하여 만족도 점수를 생성하고 불만족스러운 이유를 설명하는 대화 만족도 평가 시스템을 개발했습니다. 인간이 제공한 만족도 어노테이션과의 비교 결과, 개인 맞춤형 기억 사용과 사후 점수 보정은 지도 학습 방식, 검색 기반 방식 및 일반적인 LLM-as-a-judge 모델에 비해 순위 일치율과 불만족스러운 턴 감지 능력을 향상시킵니다. 또한, 검증된 평가 시스템을 사용하여 생성 모델을 평가하는 개인 맞춤형 대화 턴 레벨 사용자 만족도 평가 기준인 PersTurnBench를 소개합니다. PersTurnBench는 재현(replay) 상태를 고정하여 새로운 인간 어노테이션 없이 일반적인 생성 모델과 메모리를 활용한 개인 맞춤형 시스템을 비교할 수 있도록 설계되었습니다. 개발된 평가 시스템과 벤치마크는 연구자들이 새로운 사용자 피드백을 수집하지 않고도 다양한 생성 모델의 개인 맞춤형 만족도를 비교할 수 있도록 지원합니다.

User satisfaction with AI assistants is highly personalized: the same response may satisfy one user but disappoint another depending on what each user expects and what they have asked for before. Existing automatic evaluation methods mostly measure generic response quality, making it difficult to judge whether a response satisfies a user at a specific turn. We study this problem as personalized turn-level user conversation satisfaction evaluation. We build a conversation satisfaction evaluator that combines compact user memories with target-turn context to produce satisfaction scores and dissatisfaction-oriented rationales. Meta-evaluation against human satisfaction annotations shows that personalized memory and post-hoc score calibration improve ordinal agreement and dissatisfied-turn detection over supervised, retrieval-based, and generic LLM-as-a-judge baselines. We further introduce PersTurnBench, a personalized turn-level user conversation satisfaction benchmark that uses the verified evaluator to assess generation models via replay. By holding the replay state fixed, PersTurnBench enables controlled comparison of generic generation models and memory-augmented personalized systems without new human labels for every candidate model. The evaluator and benchmark let researchers compare candidate generation models on personalized satisfaction without collecting new user feedback for every model.