MemOps: 장기 대화에서 발생하는 메모리 수명 주기 작업의 성능 측정

MemOps: Benchmarking Lifecycle Memory Operations in Long-Horizon Conversations

장기적인 기억은 사용자와 지속적인 다중 세션 상호 작용을 유지하는 LLM 기반 에이전트에게 있어 필수적인 기능이 되었습니다. 그러나 기존 벤치마크는 이러한 기억을 거의 전적으로 다운스트림 질의 응답을 통해 평가하며, 최종 답변의 정확성만을 기준으로 점수를 매깁니다. 이러한 '블랙박스' 방식은 관련 사실 누락, 잘못된 대상에 작업 연결, 수정 후 오래된 값 사용 등 다양한 메모리 실패 원인을 혼동시킵니다. 결과적으로, 일관성이 없거나 안전하지 않은 메모리 상태에 의존하더라도 올바른 답변에 높은 점수를 부여할 수 있습니다. 본 논문에서는 동적인 장기 상호 작용에서 기억이 정적인 사실의 집합체가 아니라 기억, 망각, 업데이트, 반영 및 이들의 조합을 포함하는 명시적인 작업의 수명 주기라는 주장을 제시합니다. MemOps는 대화형 메모리를 일련의 수명 주기 작업으로 재구성하고 각 메모리 이벤트를 트리거, 대상, 범위, 상태 전환 및 증거를 지정하는 구조화된 추적 정보로 표현하는 벤치마크입니다. 제어 가능한 생성 파이프라인은 이러한 작업을 장기적인 목표 지향 대화에 통합하여 '골드' 작업 추적 정보를 생성하고, 운영 수준의 프로브 6가지 범주를 제공합니다. 인접 증거 및 장기 컨텍스트 환경 모두에서 MemOps는 최종 답변 정확도만으로는 감춰지는 실패 모드를 분리하며, 현재 시스템이 여전히 일관된 신뢰성을 갖지 못함을 보여줍니다. 예를 들어, 세션 수준의 검색은 턴 수준의 검색보다 성능이 우수하며, 장기 컨텍스트 모델은 정렬된 메모리 상태 추적을 재구성하는 데 상당한 어려움을 겪습니다. 이러한 결과는 장기 기억 평가를 최종 답변 점수화에서 벗어나 해석 가능하고 운영 수준의 진단으로 전환합니다.

Long-term memory has become a foundational capability for LLM-based agents that accompany users across extended, multi-session interactions. Existing benchmarks, however, evaluate such memory almost exclusively through downstream question answering, scoring only the correctness of a final answer. This black-box formulation conflates the heterogeneous causes of memory failure, such as missing the introduction of a relevant fact, binding an operation to the wrong target, or relying on stale values after a correction. As a result, it can credit correct answers despite their reliance on inconsistent or unsafe memory states. In this paper, we argue that, in dynamic long-horizon interactions, memory is not a static collection of facts but a lifecycle of explicit operations, including remembering, forgetting, updating, reflecting, and their compositions. We introduce MemOps, a benchmark that reformulates conversational memory as a sequence of lifecycle operations and represents each memory event with a structured trace specifying its trigger, target, scope, state transition, and supporting evidence. A controllable generation pipeline embeds these operations into long, task-oriented conversations and produces gold operation traces together with six categories of operation-level probes, evaluated under both adjacent-evidence and long-context settings. Across long-context, retrieval-based, parametric and managed-memory systems, MemOps disentangles failure modes that final-answer accuracy alone conceals, revealing that current systems remain far from uniformly reliable. For instance, session-level retrieval outperforms turn-level retrieval, and long-context models remain notably weak at reconstructing ordered memory-state trajectories. These results move long-term memory evaluation from final-answer scoring toward interpretable, operation-level diagnosis.