만돌: 장기 대화를 위한 집계형 에이전트 메모리 시스템

Mandol: An Agglomerative Agent Memory System for Long-Term Conversations

장기 대화형 에이전트는 다양한 유형의 정보를 통합하고 복잡한 상관관계를 가진 정보를 세션 간에 기억 및 검색해야 합니다. 기존 에이전트 메모리 시스템은 이질적인 벡터 및 그래프 데이터베이스에 의존하여, 메모리 정보를 단편화시키고 데이터베이스 간 I/O 지연을 유발합니다. 검색 과정에서 일반적으로 사용되는 RAG(Retrieval-Augmented Generation) 방식은 노이즈를 발생시키고 관련 단서를 놓치며 토큰 예산을 제어하지 못해 LLM(Large Language Model)의 정확성과 효율성을 저하시키는 경향이 있습니다. 본 연구에서는 단편화된 메모리 표현과 저장 방식을 통합하여 통일된 메모리 기반 아키텍처를 제공하는 집계형 메모리 시스템인 '만돌(Mandol)'을 제안합니다. 만돌의 핵심 구성 요소는 다음과 같습니다: (1) 원시 메모리 정보를 나타내는 기본 계층과 기본 메모리를 추적 가능한 추상화된 메모리로 통합하는 고수준 추상화 계층으로 구성된 계층적 메모리 모델, 모든 계층은 구조화된 의미 그래프로 균일하게 표현됩니다. (2) SemanticMap 및 SemanticGraph를 결합한 집계형 의미 데이터 구조로서, 키-값, 벡터, 그래프 구조를 통합하고 통일된 하이브리드 검색 연산자를 제공하여 데이터베이스 간 I/O를 제거합니다. (3) 쿼리 적응적 라우팅, 정량적 노이즈 제거 및 충돌 해결, 토큰 제한 컨텍스트 생성을 포함하는 정량적 쿼리 메커니즘을 사용하여 LLM을 검색 과정에 사용하지 않고도 성능을 향상시킵니다. LoCoMo 및 LongMemEval이라는 두 가지 널리 사용되는 장기 대화 벤치마크에서 수행한 실험 결과, 만돌은 대표적인 에이전트 메모리 시스템 중에서 가장 높은 전체 정확도를 달성했습니다. 성능 비교 결과, 만돌은 10 QPS 동시 부하 조건에서 5.4배 빠른 검색 속도와 4.8배 빠른 삽입 속도를 보였으며, 일반 소비자 등급 하드웨어에서도 낮은 지연 시간을 유지했습니다.

Long-term conversational agents need to remember and query cross-session, multi-typed information with complex correlations. Existing agent memory systems rely on heterogeneous vector and graph databases, which fragment memory information and cause high cross-database I/O latency. For retrieval, common RAG-style methods tend to introduce noise, miss correlated clues, and lack token budget control, degrading LLM accuracy and efficiency. We propose Mandol, an agglomerative memory system that consolidates fragmented memory representations and storage into a unified memory-native architecture. Its core components include: (1) a hierarchical memory model that organizes memory into a basic layer representing raw memory information and a high-level abstract layer that agglomerates basic memories into traceable abstract memories, both uniformly represented as structured semantic graphs; (2) an agglomerative semantic data structure combining SemanticMap and SemanticGraph, which natively fuses key-value, vector, and graph structures and provides unified hybrid retrieval operators to eliminate cross-database I/O; and (3) a quantitative query mechanism with query-adaptive routing, quantitative denoising and conflict resolution, and token-constrained context generation, all without involving LLMs during retrieval. Experiments on two widely used long-term conversation benchmarks, LoCoMo and LongMemEval, show that Mandol achieves the best overall accuracy among representative agent memory systems. For performance comparison, Mandol also obtains a 5.4x retrieval speedup and a 4.8x insertion speedup under 10 QPS concurrent load, while still maintaining low latency on consumer-grade hardware.