VikingMem: 상태 기반 LLM 애플리케이션을 위한 메모리 베이스 관리 시스템

VikingMem: A Memory Base Management System for Stateful LLM-based Applications

대규모 언어 모델(LLM)은 인터랙티브 애플리케이션에 혁신을 가져왔지만, 제한된 컨텍스트 창으로 인해 장기적인 상호작용 상태를 유지하는 데 중요한 데이터 관리 과제가 존재합니다. 기존 메모리 접근 방식은 종종 단순한 추출 방법을 사용하여 불완전한 메모리를 생성하거나, 챗봇과 같은 특정 사용 사례에 맞춰 설계된 경직되고 단일 목적의 메모리 추출 프롬프트를 사용합니다. 결과적으로 이러한 방식은 일반화 능력이 부족하고 다양한 후속 작업에서 성능이 저조합니다. 이러한 격차를 해소하기 위해, 우리는 장기적인 상호작용의 지속적인 상태를 관리하는 새로운 데이터 관리 패러다임인 '메모리 베이스'를 소개합니다. 메모리 베이스는 세 가지 핵심 원칙으로 특징지어집니다. 첫째, 원시 정보 스트림에서 고유한 가치를 지닌 메모리를 선택적으로 추출합니다. 둘째, 메모리 내용은 점진적으로 요약되고 수정되며, 시간 가중치가 부여되어 최근 상호작용을 우선시하는 내재적인 상태 유지 및 진화 기능을 제공합니다. 셋째, 교육, 추천, 에이전트 메모리와 같은 다양한 애플리케이션에 걸쳐 강력한 전송 가능성을 위한 일반화된 추상화 패러다임을 설계했습니다. 이러한 기반을 바탕으로, 우리는 VikingDB 벡터 엔진에서 구현된 엔드 투 엔드 메모리 베이스 관리 시스템인 VikingMem을 제시합니다. VikingMem은 상호 연결된 이벤트 및 엔티티 추상화를 통해 이 패러다임을 구현합니다. 시스템은 복잡한 정보 스트림을 선택적으로 처리하기 위한 이벤트 중심의 메모리 추출 기능을 제공하며, 엔티티는 이벤트에 의해 동적으로 업데이트되어 상태 변화를 달성합니다. 주제별 타임라인과 시간 가중치를 사용한 임시 압축을 통해 시스템은 점진적으로 고수준 요약 메모리를 생성하고, 최근 항목을 우선시하며, 오래된 항목을 압축하고 사라지게 합니다. 장기 기억 벤치마크에 대한 광범위한 평가는 VikingMem이 기준 모델보다 최대 30% 더 높은 메모리 검색 효율성을 달성하는 동시에 인터랙티브 애플리케이션에 필수적인 낮은 지연 시간을 유지함을 보여줍니다.

Large Language Models have revolutionized interactive applications; however, their finite context windows pose a critical data management challenge for maintaining stateful, long-term interactions. Existing memory approaches often rely on simplistic extraction methods that lead to incomplete memories or use rigid, single-purpose memory extraction prompts tailored to a single use case, such as chatbots. Consequently, they lack generalizability and perform poorly across diverse downstream tasks. To bridge this gap, we introduce the Memory Base, a novel data management paradigm for managing the persistent state of long-term interactions. It is characterized by three core principles: selective extraction of high-value memories from raw information streams; inherent statefulness and evolution, where memory content is progressively summarized, corrected, and temporally weighted to prioritize recent interactions; and a generalizable abstraction paradigm designed for robust transferability across diverse applications, including education, recommendation, and agent memory. Building on this foundation, we present VikingMem, an end-to-end Memory Base Management System implemented on the VikingDB vector engine. VikingMem materializes this paradigm through interconnected event and entity abstractions. It features event-centric memory extraction to selectively handle complex information streams, while entities are dynamically updated by events to achieve stateful evolution. Using temporal compression via a topic-wise timeline and time-weighted recall, the system progressively produces high-level summary memories, prioritizes recent items, and compresses and fades older ones. Extensive evaluations on long-term memory benchmarks demonstrate that VikingMem outperformes baselines by up to 30% in memory retrieval effectiveness while maintaining the low latency essential for interactive applications.