MemTrace: 대규모 언어 모델 메모리 시스템의 오류 추적 및 원인 분석

MemTrace: Tracing and Attributing Errors in Large Language Model Memory Systems

메모리는 대규모 언어 모델이 장기적인 추론을 수행하는 데 필수적이지만, 기존 메모리 시스템은 여전히 신뢰성이 낮고 디버그하기 어렵습니다. 메모리의 동적인 변화를 추적하는 것은 정보가 어떻게 합성되고 전파되거나 손상되는지를 이해하는 데 중요합니다. 본 연구에서는 LLM 메모리 시스템에서 오류 추적 및 원인 분석이라는 새로운 문제를 다룹니다. 우리는 메모리 파이프라인을 실행 가능한 메모리 진화 그래프로 변환하여 운영 레벨의 정보 흐름을 세밀하게 추적할 수 있는 새로운 프레임워크를 제안합니다. 또한, Long-Context, RAG, Mem0, EverMemOS와 같은 대표적인 메모리 시스템에서 수집된 벤치마크인 MemTraceBench를 구축하여 메모리 오류 모드를 체계적으로 연구했습니다. 우리는 또한 자동으로 오류의 근본 원인을 파악하기 위해 작동 서브그래프를 반복적으로 추적하는 자동 원인 분석 방법을 도입했습니다. 우리의 분석 결과, 메모리 오류는 정보 손실 및 검색 불일치와 같은 운영 레벨의 문제에서 비롯된 체계적인 현상입니다. 더욱 중요한 점은, 우리는 이러한 세밀한 원인 분석 정보를 활용하여 프롬프트 최적화를 안내하고, 자동으로 오류를 수정하며 최종 작업 성능을 최대 7.62%까지 향상시키는 폐쇄 루프 시스템을 구축했습니다. 관련 코드는 https://github.com/zjunlp/MemTrace 에서 공개될 예정입니다.

Memory is essential for enabling large language models to support long-horizon reasoning, yet existing memory systems remain unreliable and difficult to debug. Tracing memory's dynamic evolution is crucial to understand how information is synthesized, propagated, or corrupted over time. In this work, we study the new problem of error tracing and attribution in LLM memory systems. We propose a novel framework that transforms memory pipelines into executable memory evolution graphs, enabling fine-grained tracing of operational information flow. We then construct MemTraceBench, a benchmark collected from representative memory systems such as Long-Context, RAG, Mem0, and EverMemOS, to systematically study memory failure modes. We further introduce an automatic attribution method that iteratively traces operation subgraphs to pinpoint the root cause of any failed case. Our analysis reveals that memory failures are systematic, stemming from operation-level issues like information loss and retrieval misalignment. Crucially, we leverage these fine-grained attribution signals to guide downstream prompt optimization, establishing a closed-loop system that automatically corrects faults and boosts end-task performance by up to 7.62%. Code will be released at https://github.com/zjunlp/MemTrace.