히포캠퍼스: 에이전트 AI를 위한 효율적이고 확장 가능한 메모리 모듈

Hippocampus: An Efficient and Scalable Memory Module for Agentic AI

에이전트 AI는 LLM의 제한된 컨텍스트 윈도우를 넘어 사용자별 기록을 저장하기 위해 영구적인 메모리를 필요로 한다. 기존 메모리 시스템은 밀집 벡터 데이터베이스나 지식 그래프 순회(또는 하이브리드) 방식을 사용하여 높은 검색 지연 시간과 낮은 저장소 확장성을 초래한다. 이에 우리는 의미 기반 검색을 위한 컴팩트 이진 서명과 정확한 콘텐츠 복원을 위한 무손실 토큰 ID 스트림을 활용하는 에이전트 메모리 관리 시스템인 '히포캠퍼스(Hippocampus)'를 제안한다. 시스템의 핵심은 두 스트림을 압축 및 공동 인덱싱하여 압축 도메인 내에서 초고속 검색을 지원하는 동적 웨이블릿 행렬(DWM)로, 이를 통해 비용이 높은 밀집 벡터나 그래프 연산을 방지한다. 이러한 설계는 메모리 크기에 따라 선형적으로 확장되어 장기간의 에이전트 운용에 적합하다. 실증적 평가 결과, 히포캠퍼스는 LoCoMo 및 LongMemEval 벤치마크에서 정확도를 유지하면서도 엔드투엔드 검색 지연 시간을 최대 31배 단축하고 쿼리당 토큰 사용량을 최대 14배 절감하는 것으로 나타났다.

Agentic AI require persistent memory to store user-specific histories beyond the limited context window of LLMs. Existing memory systems use dense vector databases or knowledge-graph traversal (or hybrid), incurring high retrieval latency and poor storage scalability. We introduce Hippocampus, an agentic memory management system that uses compact binary signatures for semantic search and lossless token-ID streams for exact content reconstruction. Its core is a Dynamic Wavelet Matrix (DWM) that compresses and co-indexes both streams to support ultra-fast search in the compressed domain, thus avoiding costly dense-vector or graph computations. This design scales linearly with memory size, making it suitable for long-horizon agentic deployments. Empirically, our evaluation shows that Hippocampus reduces end-to-end retrieval latency by up to 31$\times$ and cuts per-query token footprint by up to 14$\times$, while maintaining accuracy on both LoCoMo and LongMemEval benchmarks.