메모리가 침묵해야 할 때: 메모리 기반 대화형 에이전트에서 메모리 사용 경계를 측정하는 연구

When Should Memory Stay Silent: Measuring Memory-Use Boundaries in Memory-Augmented Conversational Agents

장기 기억은 언어 모델 기반 에이전트가 개인 맞춤형 상호작용을 지원할 수 있도록 하지만, 어떤 경우에 제공된 정보를 응답에 통합해야 하는지에 대한 명확한 기준은 아직 확립되지 않았습니다. 기존의 메모리 평가 방법은 주로 정보 검색 정확도와 이후 작업에서의 유용성에 초점을 맞추지만, 검색된 민감한 정보가 현재 대화 상황에서 적절하게 사용되는지 여부는 간과하는 경향이 있습니다. 본 연구에서는 모델의 행동을 비교하기 위해 설계된 프로브 데이터셋을 기반으로 RBI-Eval이라는 제어된 측정 연구를 소개합니다. 이 연구는 민감한 메모리에 접근할 수 있는 경우와 그렇지 않은 경우에 대해 동일한 무해한 프롬프트를 사용하여 모델의 반응을 분석합니다. 우리는 GPT-5.4-mini, Claude-Sonnet-4.6, DeepSeek-V4-Flash 및 Qwen3.5-9B를 포함한 4개의 기본 LLM을 대상으로, 전체 컨텍스트 노출 환경과 3가지 정보 검색 시스템을 사용하여 평가했습니다. 연구 결과는 상당한 행동적 차이를 보여주었습니다. 메모리를 사용할 수 있는 경우, 민감한 정보를 통합하는 정도가 GPT-5.4-mini의 경우 매칭된 메모리 미사용 기준보다 8.9%에서 26.6% 감소했지만, Claude-Sonnet-4.6, DeepSeek-V4-Flash 및 Qwen3.5-9B의 경우에는 51.1%에서 82.9% 감소했습니다. DeepSeek 및 GPT-5.4-mini에 대한 통제 실험 결과는 이러한 효과가 일반적인 개인 맞춤화보다는 민감한 콘텐츠에 특이적으로 나타나는 현상임을 보여줍니다. 정보 검색 시스템은 노출을 줄이지만, 생성 단계에서 민감한 정보가 이미 포함된 경우에는 완전히 차단하지 못합니다. 이러한 연구 결과를 바탕으로 안전한 개인 맞춤화를 위해서는 정보 검색과 응답 생성 과정 모두에서 메모리에 대한 인지적 결정을 내리는 것이 중요하다는 것을 알 수 있습니다.

Long-term memory enables language model agents to support personalized interactions, but it remains unclear when available memories warrant integration into responses. Existing memory evaluations emphasize retrieval accuracy and downstream task utility, while overlooking whether retrieved sensitive memory content is warranted in the current turn. We introduce RBI-Eval, a controlled measurement study built around a probe set that compares model behavior with and without access to sensitive memory under identical benign prompts. We evaluate four base LLMs against a matched no-memory reference across four memory-access settings: full-context exposure and three retrieval systems. Our results reveal substantial behavioral divergence. With memory available, the separation score for sensitive-memory integration decreases by 8.9\%--26.6\% relative to the matched no-memory reference for GPT-5.4-mini, but by 51.1\%--82.9\% for Claude-Sonnet-4.6, DeepSeek-V4-Flash, and Qwen3.5-9B. Control experiments on DeepSeek and GPT-5.4-mini show this effect is specific to sensitive content, rather than general personalization. Retrieval systems reduce exposure but do not eliminate integration once sensitive memory reaches the generator. These findings suggest safe personalization requires memory-aware decisions at both retrieval and generation time.