HyperMem: 장기 대화를 위한 하이퍼그래프 메모리

HyperMem: Hypergraph Memory for Long-Term Conversations

장기 기억은 대화형 에이전트가 일관성을 유지하고, 지속적인 작업을 추적하며, 확장된 대화 전반에 걸쳐 개인화된 상호 작용을 제공하는 데 필수적입니다. 그러나 기존의 검색 증강 생성(RAG) 및 그래프 기반 메모리 접근 방식은 주로 쌍 관계에 의존하는데, 이는 다중 요소 간의 고차 연관성, 즉 공통 의존성을 제대로 포착하기 어렵기 때문에 정보 검색이 단편적으로 이루어지는 문제가 있습니다. 이에, 우리는 하이퍼에지를 사용하여 이러한 연관성을 명시적으로 모델링하는 계층적 메모리 아키텍처인 HyperMem을 제안합니다. 특히, HyperMem은 메모리를 주제, 에피소드, 사실의 세 가지 수준으로 구성하고, 관련된 에피소드와 해당 사실을 하이퍼에지로 그룹화하여 흩어져 있는 콘텐츠를 응집된 단위로 통합합니다. 이러한 구조를 활용하여, 우리는 하이브리드 어휘-의미 색인과 거칠고 세밀한 검색 전략을 설계하여 고차 연관성의 정확하고 효율적인 검색을 지원합니다. LoCoMo 벤치마크에서의 실험 결과, HyperMem은 92.73%의 LLM-as-a-judge 정확도를 달성하여 최첨단 성능을 보여주며, 이는 HyperMem이 장기 대화에 효과적임을 입증합니다.

Long-term memory is essential for conversational agents to maintain coherence, track persistent tasks, and provide personalized interactions across extended dialogues. However, existing approaches as Retrieval-Augmented Generation (RAG) and graph-based memory mostly rely on pairwise relations, which can hardly capture high-order associations, i.e., joint dependencies among multiple elements, causing fragmented retrieval. To this end, we propose HyperMem, a hypergraph-based hierarchical memory architecture that explicitly models such associations using hyperedges. Particularly, HyperMem structures memory into three levels: topics, episodes, and facts, and groups related episodes and their facts via hyperedges, unifying scattered content into coherent units. Leveraging this structure, we design a hybrid lexical-semantic index and a coarse-to-fine retrieval strategy, supporting accurate and efficient retrieval of high-order associations. Experiments on the LoCoMo benchmark show that HyperMem achieves state-of-the-art performance with 92.73% LLM-as-a-judge accuracy, demonstrating the effectiveness of HyperMem for long-term conversations.