메타 러닝 에이전트 메모리 설계를 통한 연속 학습 방법 학습

Learning to Continually Learn via Meta-learning Agentic Memory Designs

파운데이션 모델의 무상태성(statelessness)은 장기 추론 및 적응을 위한 핵심 역량인 에이전트 시스템의 연속 학습 능력을 제약한다. 이러한 한계를 해결하기 위해, 에이전트 시스템은 일반적으로 과거의 경험을 보존하고 재사용하는 메모리 모듈을 도입하여 테스트 단계에서의 연속 학습을 목표로 한다. 그러나 기존의 대부분 메모리 설계는 사람이 직접 고안하여 고정된 형태이며, 이는 실제 세계 작업의 다양성과 비정상성(non-stationarity)에 적응하는 능력을 제한한다. 본 논문에서는 수작업으로 설계된 메모리를 대체하기 위해 메모리 설계를 메타 러닝하는 프레임워크인 ALMA(에이전트 시스템을 위한 메모리 설계 자동 메타 러닝)를 제안한다. 이는 인간의 개입을 최소화하고 에이전트 시스템이 다양한 도메인에 걸쳐 연속 학습자가 될 수 있도록 한다. 우리의 접근 방식은 실행 가능한 코드로 표현된 메모리 설계를 개방형 방식으로 탐색하는 메타 에이전트를 사용하며, 이는 이론적으로 데이터베이스 스키마와 그 검색 및 업데이트 메커니즘을 포함한 임의의 메모리 설계를 발견할 수 있게 한다. 네 가지 순차적 의사결정 도메인에 걸친 광범위한 실험을 통해, 학습된 메모리 설계가 모든 벤치마크에서 기존 최고 수준의 수작업 메모리 설계보다 경험으로부터 더 효과적이고 효율적으로 학습할 수 있음을 입증했다. ALMA가 안전하게 개발되고 배포된다면, 이는 적응적이고 연속적인 학습자가 되는 법을 배우는 자가 개선 AI 시스템을 향한 한 걸음을 내딛는 것이다.

The statelessness of foundation models bottlenecks agentic systems' ability to continually learn, a core capability for long-horizon reasoning and adaptation. To address this limitation, agentic systems commonly incorporate memory modules to retain and reuse past experience, aiming for continual learning during test time. However, most existing memory designs are human-crafted and fixed, which limits their ability to adapt to the diversity and non-stationarity of real-world tasks. In this paper, we introduce ALMA (Automated meta-Learning of Memory designs for Agentic systems), a framework that meta-learns memory designs to replace hand-engineered memory designs, therefore minimizing human effort and enabling agentic systems to be continual learners across diverse domains. Our approach employs a Meta Agent that searches over memory designs expressed as executable code in an open-ended manner, theoretically allowing the discovery of arbitrary memory designs, including database schemas as well as their retrieval and update mechanisms. Extensive experiments across four sequential decision-making domains demonstrate that the learned memory designs enable more effective and efficient learning from experience than state-of-the-art human-crafted memory designs on all benchmarks. When developed and deployed safely, ALMA represents a step toward self-improving AI systems that learn to be adaptive, continual learners.