MemFly: 정보 병목을 통한 실시간 메모리 최적화

MemFly: On-the-Fly Memory Optimization via Information Bottleneck

장기 메모리는 대규모 언어 모델(LLM) 에이전트가 과거의 상호작용을 통해 복잡한 작업을 수행할 수 있도록 합니다. 그러나 기존 프레임워크는 중복 정보를 효율적으로 압축하는 것과 다운스트림 작업을 위해 정밀한 검색을 유지하는 것 사이의 근본적인 딜레마에 직면해 있습니다. 이러한 격차를 해소하기 위해, 본 논문에서는 정보 병목 원리에 기반하여 LLM의 실시간 메모리 진화를 촉진하는 프레임워크인 MemFly를 제안합니다. 우리의 접근 방식은 그레디언트 프리(gradient-free) 최적화기를 사용하여 관련성 엔트로피를 최대화하는 동시에 압축 엔트로피를 최소화하며, 효율적인 저장을 위한 계층화된 메모리 구조를 구축합니다. 또한 MemFly를 최대한 활용하기 위해 의미론적, 기호적, 위상학적 경로를 매끄럽게 통합하고 복잡한 멀티홉 질의를 처리하기 위한 반복적 정제 기능을 포함하는 하이브리드 검색 메커니즘을 개발했습니다. 포괄적인 실험 결과, MemFly는 메모리 일관성, 응답 충실도 및 정확도 면에서 최신 베이스라인을 크게 능가하는 것으로 나타났습니다.

Long-term memory enables large language model agents to tackle complex tasks through historical interactions. However, existing frameworks encounter a fundamental dilemma between compressing redundant information efficiently and maintaining precise retrieval for downstream tasks. To bridge this gap, we propose MemFly, a framework grounded in information bottleneck principles that facilitates on-the-fly memory evolution for LLMs. Our approach minimizes compression entropy while maximizing relevance entropy via a gradient-free optimizer, constructing a stratified memory structure for efficient storage. To fully leverage MemFly, we develop a hybrid retrieval mechanism that seamlessly integrates semantic, symbolic, and topological pathways, incorporating iterative refinement to handle complex multi-hop queries. Comprehensive experiments demonstrate that MemFly substantially outperforms state-of-the-art baselines in memory coherence, response fidelity, and accuracy.