A-TMA: 장기 에이전트 메모리의 상태 인식 메모리 오류 분리

A-TMA: Decoupling State-Aware Memory Failures in Long-Term Agent Memory

장기 기억은 LLM 에이전트가 지속적인 어시스턴트로 작동하도록 하지만, 사용자 정보는 시간이 지남에 따라 변경됩니다. 유용한 메모리 시스템은 현재 사실, 과거 사실, 그리고 변화된 부분을 모두 파악해야 합니다. 본 연구에서는 '유령 기억(ghost memory)'이라는 상태 조정 오류를 분석합니다. 유령 기억이란 오래된 사실, 현재 사실, 그리고 전환 사실이 메모리 저장소에 함께 존재하고, 검색 과정에서 혼합되어 답변 모델을 오도하는 현상입니다. 우리는 메모리 시스템이 세 가지 수준 – 저장소 유지 관리, 검색, 그리고 답변 생성 – 에서 이해되고 최적화되어야 한다고 주장합니다. 본 연구는 기존 메모리 시스템을 위한 상태 인식 레이어인 ATMA를 제안합니다. ATMA는 더 이상 유효하지 않은 정보와 전환 정보를 저장소에 보관하고, 쿼리의 요청된 상태 관점에 대한 증거 패킷을 생성하며, 현재, 과거, 그리고 전환 정보를 질의응답(QA) 시스템에 제공합니다. 또한, 최종 QA 정확도가 유령 기억의 발생 위치를 숨길 수 있으므로, 저장소, 검색, 그리고 답변 수준에서의 오류를 독립적으로 평가해야 한다고 강조합니다. 이러한 오류를 측정하기 위해, 유령 기억을 테스트하기 위한 충돌 중심 벤치마크인 LTP (LoCoMo Temporal Plus)를 구축하고, LoCoMo에서 장기 대화 일반화 성능을 평가했습니다. 실험 결과, Graphiti+ATMA는 Graphiti에 비해 LTP에서 정확도가 0.240 포인트 향상되었습니다. 또한, LoCoMo에서 Graphiti+ATMA는 시간적 F1 점수를 0.0295에서 0.1705로 높였습니다. 이러한 성능 향상은 호스트 시스템에 따라 다르지만, 명시적인 상태 역할을 통해 최종 QA 정확도에 숨겨진 메모리 오류를 줄일 수 있음을 시사합니다.

Long term memory lets LLM agents act as persistent assistants, but user facts change. A useful memory system must know what is true now, what used to be true, and what changed. We study \emph{ghost memory}, a state coordination failure in which old, current, and transition facts coexist in the memory bank, remain mixed during retrieval, and mislead the answer model. We argue that memory systems should be understood and optimized from three levels: bank maintenance, retrieval, and answer time resolution. We propose ATMA, a state aware overlay for existing memory systems. ATMA keeps superseded and transition records in the bank, builds evidence packets for the query's requested state view, and exposes current, historical, and transition labels to QA. We further call for decoupled evaluation of bank, retrieval, and answer level failures, since final QA accuracy can hide where ghost memory occurs. To make this failure measurable, we build LTP (LoCoMo Temporal Plus), a conflict heavy benchmark for ghost memory, and evaluate on LoCoMo for long conversation generalization. On LTP, Graphiti+ATMA improves conflict accuracy by 0.240 absolute over Graphiti. On LoCoMo, Graphiti+ATMA raises temporal F1 from 0.0295 to 0.1705. The gains are host dependent, but they indicate that explicit state roles can reduce memory failures hidden by final QA accuracy.