MemArbiter: 장기 계획 LLM 에이전트를 위한 의사 결정 시 메모리 조정

MemArbiter: Decision-Time Memory Arbitration for Long-Horizon LLM Agents

대규모 언어 모델(LLM) 에이전트는 일관성 있는 행동을 수행하기 위해 장기적인 작업에서 단계 간 정보를 유지하고 활용해야 합니다. 기존 방법들은 메모리 접근성을 향상시키지만, 여전히 관련 정보가 현재 의사 결정에 영향을 미치지 못하는 경우가 발생할 수 있는데, 이는 정보가 제대로 구성되지 않았거나, 체계적으로 정리되지 않았거나, 우선순위가 낮게 설정되었거나, 적절하게 제시되지 않았기 때문입니다. 우리는 이러한 접근 후 실패를 '메모리-행동 격차'라고 부릅니다. 본 연구에서는 이 격차의 메모리 관리와 관련된 부분을 해결하기 위해 기능 인지 메모리 조정 프레임워크인 MemArbiter를 제안합니다. MemArbiter는 상호 작용 기록을 기본적인 요소로 분해하고, 이를 다섯 가지 기능별 메모리 뱅크에 구성하여 저장합니다. 또한, 뱅크 수준의 수요, 요소 수준의 관련성, 핵심-주변 표현 및 시간 기반 제시 게이트를 결합하여 메모리의 중요도를 동적으로 제어합니다. 우리는 MemArbiter를 ALFWorld 환경에서 Flat Retrieval 및 Flat Recency 방법과 비교 평가했습니다. 개방형 가중치 액션 생성 모델을 사용하여 500 토큰 및 750 토큰의 제한된 메모리 예산 하에서 MemArbiter는 각각 82.8% 및 92.5%의 성공률을 달성하여, 가장 강력한 기준 모델보다 각각 20.9%p 및 25.4%p 더 높은 성능을 보였습니다. 또한, MemArbiter는 실패 후 복구 능력을 향상시키고, 잘못된 액션 반복 및 상태-액션 순환 현상을 줄입니다. 이러한 결과는 기능 인지 메모리 조정이 접근 가능한 정보를 활용하여 행동을 더욱 효과적으로 안내할 수 있음을 보여줍니다.

Large language model (LLM) agents must retain and use cross-step information to act coherently in long-horizon tasks. Existing methods improve memory accessibility, yet action-relevant information may still fail to guide the current decision because it is poorly formed, organized, prioritized, or presented. We call this post-access failure the Memory-Action Gap. We propose MemArbiter, a function-aware memory arbitration framework that addresses the memory-management-induced component of this gap. MemArbiter decomposes interaction histories into atomic items, organizes them into five functional Memory Banks, and combines bank-level demand, item-level relevance, focal-ambient representations, and a temporal presentation gate to dynamically control memory salience. We evaluate MemArbiter on ALFWorld against Flat Retrieval and Flat Recency under unified per-step memory budgets. With an open-weight action-generation model, MemArbiter achieves success rates of 82.8% and 92.5% under 500- and 750-token budgets, outperforming the strongest baseline by 20.9 and 25.4 percentage points, respectively. It also improves post-failure recovery and reduces failed-action repetition and state-action recurrence. These results show that function-aware memory arbitration enables accessible information to guide actions more effectively.