유지할 것인가, 통합할 것인가? 예산 의존적인 언어 에이전트 메모리 운영자 선택

Retain or Consolidate? Budget-Dependent Operator Selection for Language Agent Memory

언어 에이전트는 상호 작용 과정에서 메모리에 의존합니다. 그러나 대규모 언어 모델(LLM)의 제한된 컨텍스트 창과 추론 비용은 한 번에 사용할 수 있는 메모리의 양을 제약합니다. 기존 시스템은 주로 두 가지 전략인 메모리 유지 (retention)와 메모리 통합 (consolidation)을 따릅니다. 유지는 원본 기록을 보관하여 정확한 세부 정보를 유지하지만, 관련 증거가 제한된 예산 내에 포함되지 않을 수 있습니다. 반면 통합은 압축 및 결합을 통해 토큰당 커버리지(coverage)를 향상시키지만, 쿼리에 중요한 세부 정보가 손실될 위험이 있습니다. 어느 전략도 보편적으로 더 나은 것은 아닙니다. 이는 다음과 같은 두 가지 핵심 질문을 제기합니다: 언제 통합이 유지를 대체해야 하는가? 그리고 어떤 운영자 (병합(Merge), 요약(Abstract), 재작성(Rewrite))를 선택해야 하는가? 우리는 각 운영자의 효용을 유지 전략에 의해 누락된 증거에 대한 커버리지 효과와 이미 예산 범위 내에 있는 원본 증거에 대한 대체 효과로 분해하여 이러한 결정을 공식화했습니다. 이러한 요소들의 균형은 상대적인 예산 압력에 따라 선호되는 동작이 어떻게 변하는지를 설명합니다. 우리는 오프라인 추상화-안전(Offline Abstraction-Safety, OAS)이라는 경량 학습 메커니즘을 구현하여, 사전 생성된 특징으로부터 행동 효용을 추정하고, 독립 데이터셋을 사용하여 안전성 교정을 수행합니다. 공개 LongMemEval 및 LoCoMo 벤치마크에서도 동일한 예산 의존적인 패턴이 나타났습니다. LongMemEval에서는 제한된 예산 하에서 통합이 정확도를 최대 48%까지 향상시키는 반면, 여유로운 예산에서는 유지가 더 선호됩니다. LoCoMo는 더 작은 예산에서도 이러한 교차점을 재현하며, 이는 증거의 길이가 짧기 때문입니다. 두 데이터셋 모두에서, 압축이 필요한 경우 일반적으로 노트 간의 추상화 및 병합이 로컬 재작성보다 우수한 성능을 보였습니다.

Language agents depend on memory across interactions. However, the limited context windows of large language models (LLMs) and their inference costs constrain how much memory can be used at once. Existing systems mainly follow two strategies: memory retention and memory consolidation. Retention keeps raw records and preserves exact details, but relevant evidence may not fit under a tight budget; consolidation compresses and combines records, improving coverage per token but risking the loss of query-critical details. Neither strategy is universally preferable. This raises two central questions: when should consolidation replace retention, and which operator -- Merge, Abstract, or Rewrite -- should be selected? We formalize this decision by decomposing each operator's utility into a coverage effect on evidence omitted by retention and a signed replacement effect on raw evidence that already fits. Their balance explains why the preferred action changes with relative budget pressure. We implement this mechanism with Offline Abstraction-Safety (OAS), a lightweight learner that estimates action utilities from pre-generation features with held-out harm calibration. The public LongMemEval and LoCoMo benchmarks show the same budget-dependent pattern. On LongMemEval, consolidation improves absolute accuracy by up to 48% under tight budgets, whereas retention is preferable under loose budgets; LoCoMo replicates this crossover at a smaller budget, consistent with its shorter evidence. On both datasets, cross-note abstraction and merging generally outperform local rewriting when compression is necessary.