ActiveMem: 장기 추론을 위한 분산형 활성 메모리

ActiveMem: Distributed Active Memory for Long-Horizon LLM Reasoning

메모리는 대규모 언어 모델(LLM) 에이전트가 장기적인 추론 작업을 수행하는 데 필수적입니다. 기존의 메모리 메커니즘은 대부분 중앙 집중식으로, 검색된 정보와 상호 작용 기록을 단일 모델 컨텍스트 내에 구성합니다. 이러한 설계는 근본적인 트레이드오프를 발생시킵니다. 즉, 추론 경로를 확장하면 컨텍스트 과부하의 위험이 있으며, 반대로 적극적인 내용 삭제는 되돌릴 수 없는 정보 손실로 이어질 수 있습니다. 우리는 인간 인지 시스템에서 영감을 받아, 특히 전전두피질(집행 제어)과 해마(메모리 관리) 간의 기능적 상호 보완 관계를 고려하여, 이러한 트레이드오프가 필연적인 것이 아니라 중앙 집중식 메모리 구성으로 인해 발생하는 것일 수 있음을 제시합니다. 이에 따라 우리는 에이전트의 메모리를 핵심 추론 프로세스와 분리하는 이기종 프레임워크인 ActiveMem을 제안합니다. 구체적으로, 고수준 플래너는 추출된 의미 정보를 활용하여 추론을 수행하고, 경량화된 분산 메모리 시스템은 병렬로 작동하면서 이러한 의미 정보를 적극적으로 축적하고 통합합니다. BrowseComp-Plus 및 GAIA에 대한 실험 결과, ActiveMem은 상당한 오버헤드 감소와 함께 최첨단 정확도를 달성했으며, 이는 장기 추론을 위한 분산형 활성 메모리의 효과를 입증합니다.

Memory is essential for enabling large language model (LLM) agents to handle long-horizon reasoning tasks. Existing memory mechanisms are largely centralized, typically organizing retrieved information and interaction history within a single model context. This design imposes a fundamental trade-off: scaling reasoning trajectories risks context overload, whereas aggressive content pruning may result in irreversible information loss. Seeking a better trade-off, we draw inspiration from human cognitive systems, especially the functional complementarity between the prefrontal cortex (executive control) and the hippocampus (memory management), suggesting that such a trade-off need not be inherent, but may instead stem from centralized memory organization. To this end, we propose ActiveMem, a heterogeneous framework that decouples agent memory from the core reasoning process. Specifically, a high-level Planner utilizes distilled semantic gists to execute reasoning, while a lightweight, distributed memory system operates in parallel to actively accumulate and consolidate these gists throughout the task. Experiments on BrowseComp-Plus and GAIA show that ActiveMem achieves state-of-the-art accuracy with significantly reduced overhead, demonstrating the effectiveness of distributed active memory for long-horizon reasoning.