장기적인 협업을 위한 상호작용 기반의 사용자 선호도 학습

Learning User Preferences Through Interaction for Long-Term Collaboration

대화형 에이전트가 사용자와 협업하는 경험을 축적함에 따라, 사용자 선호도에 적응하는 것은 장기적인 관계를 형성하고 시간이 지남에 따라 협업 품질을 향상시키는 데 필수적입니다. 본 논문에서는 에이전트가 여러 세션에 걸쳐 사용자 선호도를 얼마나 잘 학습하고 이를 활용하여 협업 품질을 개선할 수 있는지를 평가하는 벤치마크인 MultiSessionCollab을 소개합니다. 이러한 환경에서 성공적인 에이전트를 개발하기 위해, 우리는 상호작용 경험이 쌓임에 따라 사용자 선호도를 지속적으로 유지하고 정교화하는 메모리를 갖춘 장기 협업 에이전트를 제안합니다. 또한, MultiSessionCollab 내 사용자 시뮬레이터의 행동으로부터 학습 신호를 도출하여, 에이전트가 더 포괄적인 성찰(reflections)을 생성하고 메모리를 더 효과적으로 업데이트하도록 훈련시킬 수 있음을 입증합니다. 광범위한 실험 결과, 에이전트에 메모리를 장착하는 것이 장기적인 협업 능력을 향상시켜 더 높은 과제 성공률, 상호작용 효율성 증대, 그리고 사용자 노력 감소로 이어진다는 것을 보여줍니다. 마지막으로, 실제 환경에서 메모리가 사용자 경험을 개선하는 데 도움이 됨을 입증하는 사용자 연구를 수행했습니다.

As conversational agents accumulate experience collaborating with users, adapting to user preferences is essential for fostering long-term relationships and improving collaboration quality over time. We introduce MultiSessionCollab, a benchmark that evaluates how well agents can learn user preferences and leverage them to improve collaboration quality throughout multiple sessions. To develop agents that succeed in this setting, we present long-term collaborative agents equipped with a memory that persists and refines user preference as interaction experience accumulates. Moreover, we demonstrate that learning signals can be derived from user simulator behavior in MultiSessionCollab to train agents to generate more comprehensive reflections and update their memory more effectively. Extensive experiments show that equipping agents with memory improves long-term collaboration, yielding higher task success rates, more efficient interactions, and reduced user effort. Finally, we conduct a human user study that demonstrates that memory helps improve user experience in real-world settings.