MemFail: LLM 메모리 시스템의 오류 모드에 대한 스트레스 테스트

MemFail: Stress-Testing Failure Modes of LLM Memory Systems

대규모 언어 모델(LLM) 에이전트는 장기적인 상호 작용에서 일관성을 유지하기 위해 외부 메모리 시스템에 점점 더 의존하고 있지만, 이러한 시스템이 제시하는 구체적인 오류 모드와 설계 선택에 대한 경험적 연구는 거의 이루어지지 않았습니다. 기존 벤치마크는 전체 질문 답변 정확도를 보고하며 메모리 시스템을 블랙박스로 취급하여, 잘못된 답변이 시스템의 특정 오류 모드로 인해 발생했는지 파악하기 어렵습니다. 본 논문에서는 최신 LLM 메모리 시스템의 오류 모드를 분리하는 진단 벤치마크인 MemFail을 소개합니다. 우리는 먼저 메모리 시스템을 세 가지 기본 연산(요약, 저장, 검색)으로 구성된 것으로 정의하고, 각 연산에서 발생할 수 있는 잠재적인 오류 모드를 식별했습니다. 이러한 가설적 오류 모드를 기반으로, 특정 메모리 시스템의 연산을 테스트하기 위해 악의적으로 설계된 4가지 작업에 걸쳐 5개의 데이터 세트를 구축했습니다. MemFail을 사용하여 최첨단 메모리 시스템 4개를 평가하고, MemFail이 메모리 시스템 아키텍처 차이로 인해 발생하는 트레이드오프를 경험적으로 이해하는 데 어떻게 사용될 수 있는지 보여줍니다.

Large language model (LLM) agents increasingly rely on external memory systems to remain consistent across long-horizon interactions, but little empirical work has been done to understand the specific failure modes and design choices that these systems present. Existing benchmarks report aggregate question-answering accuracy and treat memory systems as black boxes, making it impossible to attribute an incorrect answer to a particular failure mode of the system. We introduce MemFail, a diagnostic benchmark that isolates the failure modes of modern LLM memory systems. We begin by formalizing memory systems as the composition of three canonical operations -- summarization, storage, and retrieval -- and identify the potential failure modes induced by each. Based on these hypothesized failure modes, we construct five datasets spanning four tasks, each adversarially designed to test a specific operation of a memory system. Using these datasets, we evaluate four state-of-the-art memory systems on MemFail and demonstrate how MemFail can be used to empirically understand the tradeoffs induced by differences in memory system architectures.