AdaMEM: 테스트 시점에 적응하는 언어 에이전트용 메모리

AdaMEM: Test-Time Adaptive Memory for Language Agents

언어 에이전트의 핵심 과제는 과거 경험을 활용하여 동적인 테스트 시간 조건에 적응하는 것입니다. 최근 연구에서는 에이전트 메모리 메커니즘의 잠재력이 입증되었지만, 대부분의 시스템은 검색을 에피소드 시작으로 제한합니다. 그 결과, 에이전트는 장기 과제가 진행됨에 따라 점점 더 일치하지 않게 되는 정적인 지침에 의존해야 합니다. 이러한 경직성을 해결하기 위해, 우리는 테스트 시점에 에이전트의 적응을 가능하게 하는 새로운 프레임워크인 Adaptive Memory Agent (AdaMEM)를 제안합니다. AdaMEM은 모델 파라미터를 온라인으로 업데이트하지 않고 하이브리드 메모리 아키텍처를 통해 에이전트의 동작을 조정합니다. 이는 오프라인에서 수집된 원시 경험의 장기 추적 메모리를 유지하는 동시에 의사 결정을 안내하기 위해 실시간으로 동적인 단기 전략 메모리를 생성합니다. 이 메커니즘은 다양한 추론 시간 컴퓨팅 수준에서 토큰 효율성과 적응성 간의 균형을 가능하게 합니다. 실험적으로 AdaMEM은 정적 메모리 기반 모델보다 훨씬 뛰어난 성능을 보이며, ALFWorld에서는 최대 13%, WebShop에서는 11%의 상대적인 성능 향상을 달성했습니다. 이러한 우수한 성능은 HotpotQA에서의 에이전트 검색에서도 지속되었습니다. 또한, 이 적응 기능을 더욱 강화하기 위해, 우리는 정책 모델이 검색된 경험으로부터 고품질 전략을 생성하도록 학습시키는 Step-wise Memory Fine-Tuning (STEP-MFT) 기술을 개발했습니다. 이를 통해 추가적인 성능 향상을 얻을 수 있습니다. 본 연구는 에이전트 메모리의 새로운 확장 가능성을 제시하며, 실제 환경에서 지속적인 추론과 자체 진화를 지원합니다. 저희의 코드는 https://github.com/yunx-z/AdaMEM 에서 확인할 수 있습니다.

A central challenge for language agents is utilizing past experience to adapt to dynamic test-time conditions. While recent work demonstrates the promise of agentic memory mechanisms, most systems restrict retrieval to episode initiation. Consequently, agents are forced to rely on static guidance that becomes increasingly misaligned as long-horizon tasks unfold. To address this rigidity, we propose the Adaptive Memory Agent (AdaMEM), a novel framework for agent test-time adaptation. Without updating model parameters online, AdaMEM adapts agent behavior via a hybrid memory architecture: it maintains a long-term trajectory memory of raw experiences collected offline while generating dynamic short-term strategy memory on-the-fly to guide decision-making. This mechanism enables the trade-off between token efficiency and adaptability across varying inference-time compute levels. Empirically, AdaMEM significantly outperforms static memory baselines, achieving relative gains of up to 13% on ALFWorld and 11% on WebShop, with consistent leading performance extending to agentic search on HotpotQA. To further enhance this adaptation, we develop STEP-MFT, a Step-wise Memory Fine-Tuning technique that trains the policy to synthesize high-quality strategies from retrieved experiences, yielding additional performance gains. Our work establishes a new scaling dimension for agentic memory, supporting continuous reasoning and self-evolution post-deployment in real-world environments. Our code is available at https://github.com/yunx-z/AdaMEM.