MemMachine: 개인화된 AI 에이전트를 위한 사실 기반 보존 메모리 시스템

MemMachine: A Ground-Truth-Preserving Memory System for Personalized AI Agents

대규모 언어 모델(LLM) 기반 에이전트는 개인화, 사실적 일관성 및 장기적인 추론을 유지하기 위해 지속적인 메모리가 필요하지만, 표준적인 컨텍스트 윈도우 및 검색 증강 생성(RAG) 방식은 다중 세션 상호 작용에서 성능 저하를 초래합니다. 본 논문에서는 MemMachine이라는 오픈 소스 메모리 시스템을 소개합니다. MemMachine은 단기, 장기 에피소드, 그리고 프로필 메모리를 통합하며, 전체 대화 내용을 저장하고 LLM 기반 추출 과정에서의 정보 손실을 줄이는 사실 기반 보존 아키텍처를 채택합니다. MemMachine은 문맥 정보를 활용하여 관련 증거가 여러 대화 턴에 걸쳐 있는 경우에도 검색 정확도를 향상시키는 방식으로 작동합니다. 다양한 벤치마크 테스트에서 MemMachine은 높은 정확도와 효율성을 동시에 달성했습니다. LoCoMo 데이터셋에서 gpt4.1-mini 모델을 사용하여 0.9169의 성능을 보였으며, LongMemEvalS (ICLR 2025) 데이터셋에서는 6가지 요소를 제거한 실험에서 93.0%의 정확도를 달성했습니다. 검색 단계 최적화(검색 깊이 조정: +4.2%, 컨텍스트 포맷팅: +2.0%, 검색 프롬프트 설계: +1.8%, 쿼리 편향 보정: +1.4%)가 입력 단계 최적화(문장 분할: +0.8%)보다 더 효과적이었습니다. 최적화된 프롬프트를 사용할 때 GPT-5-mini 모델은 GPT-5 모델보다 2.6% 더 높은 성능을 보이며, 가장 비용 효율적인 구성임을 입증했습니다. MemMachine은 동일한 조건에서 Mem0 시스템보다 입력 토큰 사용량이 약 80% 적습니다. 또한, MemMachine과 함께 사용되는 Retrieval Agent는 직접 검색, 병렬 분해 또는 반복적인 질의 전략 중에서 상황에 맞게 질의를 분산하여 HotpotQA-hard 데이터셋에서 93.2%, WikiMultiHop 데이터셋에서 92.6%의 성능을 달성했습니다. 이러한 결과는 에피소드 기반의 사실을 보존하면서 적응적인 검색을 적용하면 개인화된 LLM 에이전트를 위한 강력하고 효율적인 장기 메모리 시스템을 구축할 수 있음을 보여줍니다.

Large Language Model (LLM) agents require persistent memory to maintain personalization, factual continuity, and long-horizon reasoning, yet standard context-window and retrieval-augmented generation (RAG) pipelines degrade over multi-session interactions. We present MemMachine, an open-source memory system that integrates short-term, long-term episodic, and profile memory within a ground-truth-preserving architecture that stores entire conversational episodes and reduces lossy LLM-based extraction. MemMachine uses contextualized retrieval that expands nucleus matches with surrounding context, improving recall when relevant evidence spans multiple dialogue turns. Across benchmarks, MemMachine achieves strong accuracy-efficiency tradeoffs: on LoCoMo it reaches 0.9169 using gpt4.1-mini; on LongMemEvalS (ICLR 2025), a six-dimension ablation yields 93.0 percent accuracy, with retrieval-stage optimizations -- retrieval depth tuning (+4.2 percent), context formatting (+2.0 percent), search prompt design (+1.8 percent), and query bias correction (+1.4 percent) -- outperforming ingestion-stage gains such as sentence chunking (+0.8 percent). GPT-5-mini exceeds GPT-5 by 2.6 percent when paired with optimized prompts, making it the most cost-efficient setup. Compared to Mem0, MemMachine uses roughly 80 percent fewer input tokens under matched conditions. A companion Retrieval Agent adaptively routes queries among direct retrieval, parallel decomposition, or iterative chain-of-query strategies, achieving 93.2 percent on HotpotQA-hard and 92.6 percent on WikiMultiHop under randomized-noise conditions. These results show that preserving episodic ground truth while layering adaptive retrieval yields robust, efficient long-term memory for personalized LLM agents.