대규모 언어 모델을 위한 메모리

Memory for Large Language Models

메모리는 대규모 언어 모델(LLM)에서 필수적인 아키텍처 요소로 진화했으며, 계산의 부산물이었던 암묵적인 개념에서 명시적이고 제어 가능한 메커니즘으로 변화했습니다. 최근 연구에서는 일시적인 어텐션, 순환 상태 동역학, 파라미터 효율적인 적응, 확장 가능한 조회 저장 등 다양한 전략이 도입되었지만, 이러한 빠른 발전은 매우 분절된 연구 환경을 초래했습니다. 본 논문에서는 LLM에서 메모리에 대한 체계적이고 아키텍처 중심적인 분류를 제시합니다. 저희의 프레임워크는 메모리를 세 가지 직교하는 축(표현: 암묵적 vs 명시적, 업데이트 동역학: 오프라인 vs 온라인, 지속성: 단기 vs 장기)을 따라 특징짓습니다. 또한, 메모리 쓰기, 라우팅, 상태 전이 및 통합을 규정하는 세부적인 메커니즘을 공식화합니다. 이러한 통합된 관점은 계산과 결합된 메모리와 독립적으로 접근 가능한 메모리 간의 개념적 경계를 명확히 하고, 다양한 아키텍처 패러다임을 효과적으로 연결합니다. 또한, 하이브리드 메모리 아키텍처, 시스템 수준 효율성 균형 및 다차원 평가 방법론을 비판적으로 분석합니다. 본 논문은 이러한 분산된 발전 사항들을 일관된 프레임워크로 통합하여, 확장 가능하고 적응적인 언어 모델링 분야의 미래 혁신을 위한 기반을 제공하며, 메모리 중심 LLM 설계의 발전 과정을 보여줍니다.

Memory has evolved into a foundational architectural dimension in large language models (LLMs), shifting from an implicit byproduct of computation to a spectrum of explicit, controllable mechanisms. While recent advances introduce diverse strategies---spanning transient attention, recurrent state dynamics, parameter-efficient adaptations, and scalable lookup storage---this rapid evolution has led to a highly fragmented research landscape. In this survey, we present a systematic, architecture-centric taxonomy of memory in LLMs. Our framework characterizes memory along three orthogonal axes: representation (implicit versus explicit), update dynamics (offline versus online), and persistence (short-term versus long-term). We further formalize the granular mechanisms dictating memory writing, routing, state transitions, and consolidation. This unified perspective elucidates the conceptual boundaries between computation-coupled and independently addressable memory, effectively bridging disparate architectural paradigms. Additionally, we critically analyze hybrid memory architectures, system-level efficiency trade-offs, and multi-dimensional evaluation methodologies. By consolidating these scattered advancements into a cohesive framework, this survey charts the trajectory of memory-centric LLM design and provides a principled foundation for future innovations in scalable and adaptive language modeling.