정적 요약의 한계를 넘어: LLM 에이전트를 위한 능동적인 기억 추출

Beyond Static Summarization: Proactive Memory Extraction for LLM Agents

기억 관리는 LLM 에이전트가 장기적인 상호작용과 개인화를 처리하는 데 매우 중요합니다. 대부분의 연구는 기억 요약의 구성 및 활용에 초점을 맞추지만, 초기 기억 추출 단계는 종종 간과됩니다. 본 논문에서는 기존의 요약 기반 방법이 반복 처리 이론에 기반하여 두 가지 주요한 한계를 가지고 있다고 주장합니다. 첫째, 요약은 '사전 작업'으로서, 미래의 작업을 알지 못하기 때문에 중요한 세부 정보를 놓치는 '단방향' 프로세스입니다. 둘째, 추출은 일반적으로 '일회성'으로 이루어지며, 사실을 확인하기 위한 피드백 루프가 부족하여 정보 손실이 누적됩니다. 이러한 문제를 해결하기 위해, 우리는 능동적인 기억 추출(ProMem)을 제안합니다. ProMem은 정적 요약과 달리, 추출을 반복적인 인지 과정으로 취급합니다. 에이전트가 자기 질문을 통해 대화 기록을 적극적으로 탐색하는 반복적인 피드백 루프를 도입합니다. 이 메커니즘을 통해 에이전트는 누락된 정보를 복구하고 오류를 수정할 수 있습니다. ProMem은 추출된 기억의 완전성을 크게 향상시키고 질의응답 정확도를 높입니다. 또한, 추출 품질과 토큰 비용 간의 우수한 균형을 달성합니다.

Memory management is vital for LLM agents to handle long-term interaction and personalization. Most research focuses on how to organize and use memory summary, but often overlooks the initial memory extraction stage. In this paper, we argue that existing summary-based methods have two major limitations based on the recurrent processing theory. First, summarization is "ahead-of-time", acting as a blind "feed-forward" process that misses important details because it doesn't know future tasks. Second, extraction is usually "one-off", lacking a feedback loop to verify facts, which leads to the accumulation of information loss. To address these issues, we propose proactive memory extraction (namely ProMem). Unlike static summarization, ProMem treats extraction as an iterative cognitive process. We introduce a recurrent feedback loop where the agent uses self-questioning to actively probe the dialogue history. This mechanism allows the agent to recover missing information and correct errors. Our ProMem significantly improves the completeness of the extracted memory and QA accuracy. It also achieves a superior trade-off between extraction quality and token cost.