MemGuard: 장기 기억을 활용하는 대규모 언어 모델에서 발생하는 메모리 오염 방지

MemGuard: Preventing Memory Contamination in Long-Term Memory-Augmented Large Language Models

메모리 증강 대규모 언어 모델은 고정된 컨텍스트 창의 한계를 넘어, 상호 작용을 통해 장기적인 기억을 유지하여 추론 능력을 확장합니다. 그러나 기존 메모리 시스템은 종종 안정적인 사용자 정보, 에피소드 이벤트 및 행동 규칙을 하나의 공간으로 통합하기 때문에, 기능적으로 구별되는 기억들이 검색되어 서로 대체 가능한 증거로 사용될 수 있습니다. 우리는 이러한 현상을 '이질적인 메모리 오염'이라고 정의하며, 컨텍스트에 특화된 이벤트가 과장된 주장이 되거나, 의미상 관련이 있지만 기능적으로 호환되지 않는 기억이 생성 과정에서 잘못된 정보를 제공하는 문제를 야기합니다. 이에 대한 해결책으로, 우리는 메모리 구축 및 검색 시 기능적인 메모리 경계를 보존하는 유형 인식 메모리 프레임워크인 MemGuard를 제안합니다. MemGuard는 각 메모리에 명시적인 기능적 역할을 쓰기 시점에 할당하고, 유형별로 분리된 메모리 간의 관계를 유지하며, 필요한 메모리 유형에서만 선택적으로 증거를 구성하여 관련 없는 또는 기능적으로 호환되지 않는 증거로부터의 오염을 줄입니다. 환각 및 장기 대화 벤치마크 테스트 결과, MemGuard는 기존 방법보다 최대 28.27%까지 메모리 신뢰도를 향상시키고, 검색하는 메모리 토큰 수를 최대 5.8배까지 감소시켰습니다. 이러한 결과는 안정적인 장기 추론이 체계적인 조직화와 이질적인 메모리의 선택적 사용에 달려 있음을 시사합니다.

Memory-augmented large language models extend reasoning beyond a fixed context window by maintaining long-term memory across interactions. However, existing memory systems often collapse stable user facts, episodic events, and behavioral rules into a shared space, allowing functionally distinct memories to be retrieved and used as interchangeable evidence. We identify this failure mode as heterogeneous memory contamination, where context-specific events become overgeneralized claims, or semantically relevant but functionally incompatible memories mislead generation. To this end, we introduce MemGuard, a type-aware memory framework that preserves functional memory boundaries during memory construction and retrieval. It assigns each memory an explicit functional role at write time, maintains relations across type-isolated memories, and selectively composes evidence only from necessary memory types, reducing contamination from irrelevant or functionally incompatible evidence. Across hallucination and long-horizon conversation benchmarks, MemGuard improves memory reliability by up to 28.27% while retrieving up to 5.8x fewer memory tokens than prior methods. These results suggest that reliable long-term reasoning depends on principled organization and selective use of heterogeneous memory.