AutoMem: 인지적 기술로서의 기억 자동 학습

AutoMem: Automated Learning of Memory as a Cognitive Skill

기억 능력은 학습된 기술입니다. 즉, 무엇을 저장할 것인지, 언제 검색할 것인지, 그리고 지식을 어떻게 구성할 것인지를 아는 능력인데, 이는 인지 과학에서 '메타기억(metamemory)'이라고 알려져 있습니다. 우리는 이 관점을 LLM(대규모 언어 모델)에 적용하여 기억 관리 자체를 학습 가능한 기술로 간주합니다. 파일 시스템 작업을 기존의 작업 실행 기능과 동등한 수준의 메모리 액션으로 승격시켜, 모델이 스스로 자신의 기억을 어떻게 관리할지 결정하도록 합니다. 이러한 기억 능력은 두 가지 측면에서 향상됩니다. 첫째, 이를 뒷받침하는 구조(프롬프트, 파일 스키마, 동작 어휘)이고, 둘째는 해당 능력을 사용하는 모델의 숙련도입니다. 이 두 가지 측면 모두 수동 최적화가 어렵습니다. 장기적인 작업에서는 수천 단계에 걸쳐 진행될 수 있으며, 단일한 기억 오류가 발생하기 전에 오랫동안 숨겨져 있을 수 있으므로, 전체 경로를 인간이 검토하는 것은 비현실적입니다. 우리는 이러한 문제를 해결하기 위해 AutoMem이라는 프레임워크를 제안합니다. AutoMem은 두 가지 루프를 통해 자동화됩니다. 첫 번째 루프에서는 강력한 LLM이 에이전트의 전체 실행 경로를 검토하고, 에이전트가 자신의 메모리 파일과 상호 작용하는 방식을 결정하는 메모리 구조를 반복적으로 수정합니다. 두 번째 루프에서는 여러 에피소드에서 에이전트가 내린 좋은 기억 관련 의사 결정을 식별하여, 이를 모델의 기억 능력을 직접 향상시키는 훈련 신호로 사용합니다. 절차적으로 생성된 세 가지 장기 작업 게임(Crafter, MiniHack 및 NetHack)에서, 모델의 작업-행동 방식을 수정하지 않고 오직 기억 능력만을 최적화했을 때, 기본 에이전트의 성능이 약 2~4배 향상되었습니다. 이를 통해 공개 가중치를 가진 32B 모델이 Claude Opus 4.5 및 Gemini 3.1 Pro Thinking과 같은 최첨단 시스템과 경쟁할 수 있게 되었습니다. 우리의 연구 결과는 기억 관리가 독립적으로 학습 가능한 기술이며, 장기적인 작업에서 큰 이점을 가져다주는 중요한 목표라는 것을 보여줍니다.

Memory expertise is a learned skill: knowing what to encode, when to retrieve, and how to organize knowledge--a capacity known in cognitive science as metamemory. We bring this perspective to LLMs by treating memory management as a trainable skill. We promote file-system operations to first-class memory actions alongside task actions, letting the model itself decide how to manage its memory. This memory skill improves along two axes: the structure that supports it (prompts, file schemas, action vocabulary), and the proficiency of the model exercising it. Both axes resist manual optimization: episodes in long-horizon tasks run for thousands of steps, and a single memory mistake can hide long before it surfaces, making human review of full trajectories impractical. We introduce AutoMem, a framework that automates both axes. In the first loop, a strong LLM reviews complete agent trajectories and iteratively revises the memory structure that shapes how the agent interacts with its memory files. In the second loop, the agent's own good memory decisions are identified from many episodes and used as training signal to sharpen the model's memory proficiency directly. Across three procedurally generated long-horizon games (Crafter, MiniHack, and NetHack), optimizing memory alone--without modifying the model's task-action behavior--improved the base agent's performance ~2x-4x, bringing a 32B open-weight model competitive with frontier systems such as Claude Opus 4.5 and Gemini 3.1 Pro Thinking. Our results show that memory management is an independently learnable skill, and a high-leverage objective yielding large gains on long-horizon tasks.