중요할 때 기억하기: 장기 목표를 가진 에이전트를 위한 능동적 기억 어시스턴트

Remember When It Matters: Proactive Memory Agent for Long-Horizon Agents

장기적인 과제 수행 시, 의사 결정에 중요한 정보는 종종 점점 길어지는 경로의 여러 부분에 흩어져 있으며, 에이전트는 이러한 정보를 찾아내어 활용해야 합니다. 경로가 길어짐에 따라, 과제 요구 사항, 환경 사실, 이전 시도, 진단 결과 및 아직 완료되지 않은 하위 목표 등이 컨텍스트 창 내부에 포함되지 않거나 그 범위를 벗어나면서, 필요한 순간 의사 결정에 영향을 미치지 못하는 경우가 발생합니다. 우리는 이러한 현상을 "행동 상태 소멸(behavioral state decay)"이라고 부릅니다. 본 연구에서는 기억을 수동적인 검색이 아닌 능동적인 개입 메커니즘으로 탐구합니다. 수정되지 않은 행동 에이전트와 함께, 별도의 기억 어시스턴트가 최근 경로 정보를 기반으로 구조화된 메모리 저장소를 업데이트하고, 기억에 기반한 알림을 제공할지 또는 침묵할지를 결정합니다. 이 모듈은 최첨단 행동 에이전트 및 기존 에이전트 시스템과 쉽게 통합될 수 있습니다. Terminal-Bench 2.0 및 $τ^2$-Bench 환경에서, 본 연구는 성능이 낮은 에이전트와 높은 에이전트 모두의 pass@1 성능을 향상시키며, 각각 +8.3 pp 및 +6.8 pp의 성능 향상을 보였습니다. 추가 분석 결과, 선택적인 개입 방식은 수동적인 메모리 저장소 노출, 항상 켜진 알림 제공 방식, 조언만 제공하는 방식 및 일반적인 검색 방식보다 우수한 성능을 나타냅니다. 오픈 소스 메모리 정책 개발을 위한 초기 단계로, 우리는 Qwen3.5-27B 모델을 SFT 및 GRPO를 사용하여 SETA 데이터셋으로 학습하여 검증 보상을 향상시키고 Terminal-Bench 환경으로의 부분적인 지식 전달을 달성했습니다.

In long-horizon tasks, decision-relevant state is often scattered across an expanding trajectory, while the action agent must surface it and act. As trajectories grow, task requirements, environment facts, prior attempts, diagnoses, and open subgoals can be buried in the context window or pushed beyond it, failing to influence decisions when needed. We call this failure mode "behavioral state decay". We study memory as an active intervention mechanism rather than passive retrieval. A separate memory agent runs alongside an unmodified action agent, updating a structured memory bank from the recent trajectory and deciding whether to inject a memory-grounded reminder or remain silent. The module is plug-and-play with frontier action agents and existing agent harnesses. Across Terminal-Bench 2.0 and $τ^2$-Bench, it improves pass@1 for both weaker and stronger action agents, with gains of +8.3 pp on Terminal-Bench and +6.8 pp on $τ^2$-Bench. Ablations show that selective intervention outperforms passive bank exposure, always-on injection, advisor-only guidance, and general retrieval. As an early step toward open-weight memory policies, we train Qwen3.5-27B on SETA using SFT and GRPO, improving validation reward and achieving partial transfer to Terminal-Bench.