기억 방식의 선택: LLM 에이전트를 위한 적응형 메모리 구조

Choosing How to Remember: Adaptive Memory Structures for LLM Agents

메모리는 대규모 언어 모델(LLM) 기반 에이전트가 장기적인 상호작용에 걸쳐 일관된 행동을 유지하는 데 필수적이다. 그러나 기존 에이전트 메모리 시스템은 획일적인 메모리 구조에 의존하고, 메모리 구조 선택을 문맥에 따라 적응하는 결정으로 모델링하지 않는다는 두 가지 주요 한계가 있다. 이는 다양한 상호작용 패턴을 처리하는 능력을 제한하고 성능 저하를 초래한다. 이에 우리는 LLM 에이전트를 위한 적응형 메모리 구성을 가능하게 하는 통합 프레임워크인 FluxMem을 제안한다. 이 프레임워크는 에이전트에게 상호 보완적인 여러 메모리 구조를 제공하며, 다운스트림 응답 품질과 메모리 활용도에서 도출된 오프라인 지도(supervision)를 사용하여 상호작용 수준의 특징을 기반으로 구조를 선택하는 방법을 명시적으로 학습한다. 또한 견고한 장기 기억의 발전을 지원하기 위해, 불안정한 유사도 임계값을 대체하는 3단계 메모리 계층 구조와 분포 인식 메모리 융합을 위한 베타 혼합 모델(Beta Mixture Model) 기반의 확률적 게이트를 도입한다. 두 가지 장기 벤치마크인 PERSONAMEM과 LoCoMo에서의 실험은 우리의 방법이 각각 평균 9.18%와 6.14%의 성능 향상을 달성함을 입증한다.

Memory is critical for enabling large language model (LLM) based agents to maintain coherent behavior over long-horizon interactions. However, existing agent memory systems suffer from two key gaps: they rely on a one-size-fits-all memory structure and do not model memory structure selection as a context-adaptive decision, limiting their ability to handle heterogeneous interaction patterns and resulting in suboptimal performance. We propose a unified framework, FluxMem, that enables adaptive memory organization for LLM agents. Our framework equips agents with multiple complementary memory structures. It explicitly learns to select among these structures based on interaction-level features, using offline supervision derived from downstream response quality and memory utilization. To support robust long-horizon memory evolution, we further introduce a three-level memory hierarchy and a Beta Mixture Model-based probabilistic gate for distribution-aware memory fusion, replacing brittle similarity thresholds. Experiments on two long-horizon benchmarks, PERSONAMEM and LoCoMo, demonstrate that our method achieves average improvements of 9.18% and 6.14%.