Metis: 메모리 기반 모델

Metis: Memory Foundation Model

최근 인공지능 에이전트 분야에서 상당한 발전이 이루어짐에 따라, 기본적인 기능들이 하위 모델 내부에 통합되면서 다중 모드 기반 모델과 대규모 추론 모델이 등장했습니다. 그러나 여전히 에이전트 메모리는 주로 외부 모듈을 통해 구현되며, 기본 메모리 기능은 대부분 활용되지 않고 있습니다. 본 논문에서는 메모리 기반 모델을 소개하며, 기존 모델에 내장된 메모리 기능을 강화하는 첫 번째 단계를 제시합니다. 우리는 핵심 모델 내부의 지속적이고 동적으로 변화하는 메모리 상태와, 모델 연산을 통해 자율적으로 정보를 저장하고 사용하는 기본 메모리 절차라는 두 가지 관점에서 기본 메모리를 정의했습니다. 본 논문에서는 기본 메모리가 아키텍처, 엔드투엔드 최적화 및 효율성 측면에서 장점을 제공한다는 것을 보여줍니다. 이러한 정의를 바탕으로, 우리는 메모리 기반 모델의 첫 번째 프로토타입인 Metis를 제안합니다. Metis는 기존 모델에 내장된 메모리 상태를 갖춘 새로운 아키텍처를 도입하여, 과거 정보를 모델 내부에 압축하고 메모리 어텐션을 통해 접근할 수 있도록 합니다. 우리는 대규모 메모리 특화 학습 데이터를 구축하고, 중간 학습 단계를 통해 이러한 기본 메모리 절차를 습득하기 위한 다양한 최적화 목표를 제시합니다. Metis의 온라인 메모리 관리는 기울기 정보를 사용하지 않으며, 메모리 업데이트는 순방향 연산만 필요로 합니다. 추론 시에는 모든 학습된 모델 가중치가 고정되어 있으며, 내장된 메모리 상태는 표준 순방향 연산을 통해 자율적으로 변환됩니다. 광범위한 실험을 통해 Metis가 기본 메모리 기능을 갖추고 있음을 확인하고, 그 강점, 한계 및 동작 방식에 대한 자세한 분석을 제공합니다. 향후 메모리 기반 모델 연구를 지원하기 위해, 우리는 프로젝트 자료와 모델 체크포인트를 공개합니다.

Recent advances in AI agents have increasingly internalized native capabilities into their underlying foundation models, giving rise to multimodal foundation models and large reasoning models. However, agent memory is still primarily implemented through external modules, leaving the native memory capability largely unexplored. In this paper, we take a first step toward this direction by introducing memory foundation models, which empower foundation models with native memory capabilities. We formalize native memory from two perspectives: a persistent and dynamically evolving memory state within the backbone, and native memory procedures that autonomously store and utilize information through model computation. We show that native memory offers advantages in architecture, end-to-end optimization, and efficiency. Based on this formulation, we propose Metis, the first prototype of memory foundation models. Metis introduces a new architecture that equips a foundation model with a native memory state, allowing historical information to be compressed into the model and accessed through memory attention. We construct large-scale memory-specific training data and introduce multiple optimization objectives to acquire these native memory procedures through mid-training. The online memory maintenance of Metis is gradient-free, and the memory update requires only a forward pass. At inference time, all learned model weights remain frozen, while the native memory states are autonomously transformed through standard forward computation. Through extensive experiments, we show that Metis exhibits native memory capabilities and further provide a detailed analysis of its strengths, limitations, and behaviors. To facilitate future research on memory foundation models, we release our project and model checkpoints.