기억이 만드는 차이: 다양한 기억 역할이 대화형 에이전트에 미치는 영향 분석

Memory Makes the Difference: Evaluating How Different Memory Roles Shape Conversational Agents

RAG 기반 대화 시스템에서 기억 메커니즘에 대한 기존 연구는 주로 기억이 어떻게 저장되고 검색되는지에 초점을 맞추었습니다. 그러나 다양한 기능적 역할을 수행하는 기억들이 응답 품질에 어떤 영향을 미치는지에 대한 연구는 상대적으로 부족합니다. 특히, 이러한 기억들이 다양한 대화 맥락 하에서 에이전트의 응답을 어떻게 형성하며, 실제로 다른 응답 행동으로 이어지는지에 대한 이해가 필요합니다. 기존의 대화 시스템 평가 방식은 주로 참조 기반으로 이루어져 있어, 사용자의 선호도를 다르게 충족시키는 응답의 미묘한 차이를 충분히 반영하지 못합니다. 본 연구에서는 다양한 유형의 기억이 에이전트의 응답에 미치는 영향을 분석합니다. 우리는 세분화된 대화 기억 분류 체계를 제시하고, 검색된 기억들을 역할 유형별로 분류하며, 사용자의 관점을 시뮬레이션하는 사용자 중심 평가 프레임워크를 설계했습니다. 장기 데이터셋과 최첨단 LLM을 활용한 비교 실험을 통해 분석 결과, 다양한 기억들이 다음과 같이 구체적인 영향을 미치는 것을 확인했습니다. 예를 들어, 명확성을 높이는 기억은 응답의 사실 정확성과 제약 인식 능력을 향상시켜 더 정확하고 개인화된 응답을 제공합니다. 반면, 관련 없는 기억은 주제와의 연관성을 낮추고 제약 인식 능력을 저하시킵니다. 최첨단 LLM의 강력함에도 불구하고, 이러한 연구 결과는 다양한 유형의 기억이 어떻게 활용되어 더욱 개인화된 응답을 생성할 수 있는지 보여주며, 이 분야에 대한 추가적인 연구를 촉진할 것입니다.

Prior research on memory mechanism in RAG-based conversational system has emphasized how memory is stored and retrieved. However, far less is known about how memories with different functional roles influence response quality. Specifically, how they shape an agent's responses under varying conversational contexts and whether they lead to substantively different response behaviors. Existing evaluations in conversational system are also largely reference-based, insufficiently capturing the nuances in responses that may address users' preferences differently. In this work, we probe the impact of different memory types in shaping agents' responses. We present a fine-grained taxonomy of conversational memory, classify retrieved memories into different role types, and design a user-centric evaluation framework that simulates user perspectives. Through comparative experiments on long-term datasets and frontier LLMs, our analysis reveal many differentiated effects of memories: e.g., clarifying memory improves responses' factual accuracy and constraint awareness, making them more correct and personalized; irrelevant memory reduces topic relevance and degrades constraint awareness. Despite the power of frontier LLMs, these findings shed light on how different memory types can be leveraged to produce more personalized responses and inspire further research in this direction.