MeMo: 기억을 모델로 활용

MeMo: Memory as a Model

대규모 언어 모델(LLM)은 다양한 작업에서 뛰어난 성능을 보이지만, 사전 훈련 이후에는 업데이트될 때까지 고정된 상태로 유지됩니다. 많은 실제 응용 프로그램에서는 시의적절하고 특정 도메인에 특화된 정보가 필요하며, 이는 새로운 지식을 효율적으로 통합할 수 있는 메커니즘의 필요성을 강조합니다. 본 논문에서는 MeMo(Memory as a Model)라는 모듈식 프레임워크를 소개합니다. MeMo는 새로운 지식을 전용 메모리 모델에 인코딩하는 동시에 LLM의 파라미터를 변경하지 않습니다. 기존 방법과 비교하여 MeMo는 다음과 같은 장점을 제공합니다. (a) 복잡한 문서 간의 관계를 파악하고, (b) 검색 오류에 강하며, (c) LLM에서 파국적인 망각 현상을 방지하고, (d) LLM의 가중치 또는 출력 로짓에 대한 접근 권한이 필요하지 않아 오픈 소스 및 독점 클로즈드 소스 LLM 모두에 쉽게 통합할 수 있으며, (e) 추론 시 검색 비용이 코퍼스 크기에 독립적입니다. BrowseComp-Plus, NarrativeQA 및 MuSiQue라는 세 가지 벤치마크에 대한 실험 결과는 MeMo가 다양한 환경에서 기존 방법보다 우수한 성능을 달성함을 보여줍니다.

Large language models (LLMs) achieve strong performance across a wide range of tasks, but remain frozen after pretraining until subsequent updates. Many real-world applications require timely, domain-specific information, motivating the need for efficient mechanisms to incorporate new knowledge. In this paper, we introduce MeMo (Memory as a Model), a modular framework that encodes new knowledge into a dedicated memory model while keeping the LLM parameters unchanged. Compared to existing methods, MeMo offers several advantages: (a) it captures complex cross-document relationships, (b) it is robust to retrieval noise, (c) it avoids catastrophic forgetting in the LLM, (d) it does not require access to the LLM's weights or output logits, enabling plug-and-play integration with both open and proprietary closed-source LLMs, and (e) its retrieval cost is independent of corpus size at inference time. Our experimental results on three benchmarks, BrowseComp-Plus, NarrativeQA, and MuSiQue, show that MeMo achieves strong performance compared to existing methods across diverse settings.