MemRefine: LLM 기반의 장기 에이전트 메모리 압축 기술

MemRefine: LLM-Guided Compression for Long-Term Agent Memory

대규모 언어 모델(LLM) 에이전트는 점차적으로 장기간 상호작용을 수행해야 하며, 이 과정에서 과거 대화 내용을 보존하고 회상하여 향후 작업을 지원해야 합니다. 그러나 상호작용이 누적됨에 따라 메모리 저장 공간은 무한히 증가하며, 중복된 항목들로 채워져 저장 비용을 증가시키고 유용한 정보가 묻혀 검색 성능을 저하시킵니다. 특히, 제한된 자원을 가진 환경에서는 이러한 문제가 더욱 심각합니다. 따라서 본 연구는 미리 정의된 예산 내에서 메모리 저장 공간을 관리하는 기술인 '저장 예산 기반 메모리 관리'를 제안합니다. 이를 위해 LLM 기반 프레임워크인 MemRefine을 개발했습니다. MemRefine은 표면적인 유사성이 사실 가치를 제대로 반영하지 못한다는 점을 고려하여, 먼저 유사성 정보를 이용하여 후보 쌍을 제시하고, 삭제, 병합, 보존 여부를 사실 내용에 기반하여 LLM 판단 로직을 통해 결정하며, 예산이 충족될 때까지 반복적으로 수행합니다. 다양한 메모리 프레임워크와 장기 대화 벤치마크를 통해 MemRefine은 목표 예산을 효과적으로 준수하면서도 성능 저하 없이 작동하며, 제한된 예산 환경에서는 기존의 규칙 기반 모델보다 우수한 성능을 보입니다.

Large language model (LLM) agents are increasingly expected to operate over long-term interactions, where information from past dialogues must be preserved and recalled to support future tasks. However, as interactions accumulate, the memory store grows without bound and fills with redundant entries that inflate storage cost and degrade retrieval by crowding out the most useful evidence. Furthermore, this is especially limiting on resource-constrained platforms with hard memory budgets, motivating us to formulate storage-budgeted memory management, the task of keeping an already constructed memory store within a fixed budget while preserving information useful for future interactions. To this end, we then propose MemRefine, an LLM-guided framework that, since surface similarity poorly reflects factual value, uses similarity only to propose candidate pairs and defers delete, merge, and preserve decisions to an LLM judge based on factual content, iterating until the budget is met. Across multiple memory frameworks and long-term conversation benchmarks, MemRefine consistently meets target budgets while preserving downstream performance and outperforming rule-based baselines under tight budgets.