AI 해마: 우리는 인간의 기억으로부터 얼마나 멀리 와 있는가?

The AI Hippocampus: How Far are We From Human Memory?

기억은 현대 거대 언어 모델(LLM)과 멀티모달 LLM의 추론 능력, 적응성, 그리고 문맥적 정합성을 강화하는 데 있어 기반이 되는 역할을 한다. 이러한 모델들이 정적인 예측기에서 지속적인 학습과 개인화된 추론이 가능한 상호작용 시스템으로 전환됨에 따라, 기억 메커니즘의 통합은 아키텍처 및 기능적 진화의 중심 주제로 부상했다. 본 조사 연구는 문헌을 암묵적(implicit), 명시적(explicit), 그리고 에이전트적(agentic) 기억 패러다임으로 구성된 응집력 있는 분류 체계로 정리하여, LLM과 MLLM에서의 기억에 대한 포괄적이고 구조화된 종합을 제시한다. 구체적으로 본 조사는 세 가지 주요 기억 프레임워크를 기술한다. 암묵적 기억은 사전 학습된 트랜스포머의 내부 파라미터에 내재된 지식을 의미하며, 암기, 연상 인출 및 문맥적 추론 능력을 아우른다. 최근 연구들은 이러한 잠재적 기억을 해석, 조작 및 재구성하는 방법을 모색해 왔다. 명시적 기억은 텍스트 말뭉치, 밀집 벡터(dense vector), 그래프 기반 구조와 같은 동적이고 질의 가능한 지식 표현으로 모델 출력을 강화하도록 설계된 외부 저장 및 인출 구성 요소를 포함하며, 이를 통해 정보 원천과의 확장 가능하고 갱신 가능한 상호작용을 가능케 한다. 에이전트적 기억은 자율 에이전트 내에 지속적이고 시간적으로 확장된 기억 구조를 도입하여, 신체화된(embodied) AI 및 상호작용 AI와 관련하여 멀티 에이전트 시스템 내에서의 장기 계획, 자기 일관성, 협력적 행동을 촉진한다. 텍스트를 넘어, 본 조사는 시각, 언어, 오디오 및 행동 양식 전반에 걸친 일관성이 필수적인 멀티모달 환경 내에서의 기억 통합을 검토한다. 마지막으로 기억 용량, 정렬(alignment), 사실적 일관성, 시스템 간 상호 운용성 등의 문제를 포함하여 주요 아키텍처의 발전, 벤치마크 과제, 그리고 해결해야 할 난제들에 대해 논의한다.

Memory plays a foundational role in augmenting the reasoning, adaptability, and contextual fidelity of modern Large Language Models and Multi-Modal LLMs. As these models transition from static predictors to interactive systems capable of continual learning and personalized inference, the incorporation of memory mechanisms has emerged as a central theme in their architectural and functional evolution. This survey presents a comprehensive and structured synthesis of memory in LLMs and MLLMs, organizing the literature into a cohesive taxonomy comprising implicit, explicit, and agentic memory paradigms. Specifically, the survey delineates three primary memory frameworks. Implicit memory refers to the knowledge embedded within the internal parameters of pre-trained transformers, encompassing their capacity for memorization, associative retrieval, and contextual reasoning. Recent work has explored methods to interpret, manipulate, and reconfigure this latent memory. Explicit memory involves external storage and retrieval components designed to augment model outputs with dynamic, queryable knowledge representations, such as textual corpora, dense vectors, and graph-based structures, thereby enabling scalable and updatable interaction with information sources. Agentic memory introduces persistent, temporally extended memory structures within autonomous agents, facilitating long-term planning, self-consistency, and collaborative behavior in multi-agent systems, with relevance to embodied and interactive AI. Extending beyond text, the survey examines the integration of memory within multi-modal settings, where coherence across vision, language, audio, and action modalities is essential. Key architectural advances, benchmark tasks, and open challenges are discussed, including issues related to memory capacity, alignment, factual consistency, and cross-system interoperability.