메모리를 제어 가능한 과정으로: LLM 에이전트를 위한 학습 기반 적응형 메모리 관리

Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents

대규모 언어 모델(LLM) 에이전트는 다양한 작업에서 경험을 축적하기 위해 점점 더 외부 메모리 시스템에 의존하고 있습니다. 그러나 그래프 구조 메모리부터 반성적 통찰력 저장소에 이르기까지 대부분의 기존 방법은 고정된, 수동으로 설계된 휴리스틱을 통해 메모리에 접근합니다. 우리는 이러한 정적인 메모리 관념이 에이전트 학습의 주요 병목 현상이라고 주장하며, 왜냐하면 최적의 메모리 동작은 근본적으로 맥락에 따라 달라지기 때문입니다. 작업 초반 단계에서는 메모리가 희소하므로 최소한의 검색으로 충분하며, 반복되는 목표 유형에서는 일반적인 최근접 이웃 검색보다 계획 재사용이 더 효과적입니다. 막히는 에이전트에게는 대체 쿼리를 사용하여 다시 검색하는 것이 도움이 되며, 긴 작업 흐름에서 메모리 저장 자체가 유용성을 유지하기 위해 통합되고 정리되어야 합니다. 본 논문에서는 '메모리를 제어 가능한 과정(MemCon)'이라는 프레임워크를 제시합니다. MemCon은 메모리 작업을 마르코프 결정 프로세스로 모델링하고, 언제, 무엇을, 얼마나 검색할지, 어떤 계획을 주입할지, 그리고 언제 통합하거나 삭제할지를 적응적으로 결정하는 온라인 정책을 학습합니다. MemCon은 백엔드에 구애받지 않으며, 기존 메모리 구현을 래핑하고, 사전 훈련 없이 추가적인 LLM 호출 없이 작업별 이진 피드백으로 학습하며, UCB 탐색을 사용하는 가벼운 테이블 기반 컨텍스추얼 반딧(contextual bandit) 알고리즘을 사용하여 수십 개의 작업 내에 수렴합니다. 6개의 벤치마크, 3가지 에이전트 프레임워크, 그리고 3가지 LLM 백본에서 MemCon은 여러 메모리 기본 모델보다 일관되게 최대 15.2% 더 높은 성공률을 보이며 토큰 소비량을 5~20% 줄입니다.

Large Language Model (LLM) agents increasingly rely on external memory systems to accumulate experience across tasks. Yet nearly all existing approaches, from graph-structured memories to reflective insight stores, access memory through fixed, hand-designed heuristics. We argue that this static view of memory is a core bottleneck for agentic learning because optimal memory behavior is fundamentally context-dependent. The early stages of the tasks, benefit from minimal retrieval because memory is sparse; recurring goal types benefit from plan reuse rather than generic nearest-neighbor lookup; stuck agents benefit from re-retrieval with alternative queries; and across long task streams, the memory store itself must be consolidated and pruned to remain useful. We present Memory as a Controlled Process (MemCon), a framework that models memory operations as a Markov Decision Process and learns an online policy that adaptively decides when, what, and how much to retrieve, when to inject a distilled plan, and when to consolidate or forget. MemCon is backend-agnostic: it wraps any existing memory implementation, learns from task-by-task binary feedback with no pretraining and no additional LLM calls, and uses a lightweight tabular contextual bandit with UCB exploration that converges within tens of tasks. Across 6 benchmarks, 3 agent frameworks, and 3 LLM backbones, MemCon consistently outperforms multiple memory baselines by up to 15.2 points in task success while reducing token consumption by 5--20%.