HyMem: 동적 검색 스케줄링을 활용한 하이브리드 메모리 아키텍처

HyMem: Hybrid Memory Architecture with Dynamic Retrieval Scheduling

대규모 언어 모델(LLM) 에이전트는 짧은 텍스트 맥락에서는 강력한 성능을 보이지만, 비효율적인 메모리 관리로 인해 긴 대화에서는 종종 성능이 저하된다. 기존 접근 방식들은 효율성과 효과성 사이의 근본적인 트레이드오프에 직면해 있다. 메모리 압축은 복잡한 추론에 필요한 중요한 세부 정보를 손실할 위험이 있는 반면, 원시 텍스트를 유지하는 것은 단순한 질의에 불필요한 연산 오버헤드를 초래한다. 문제의 핵심은 인간에게서 관찰되는 유연하고 능동적인 메모리 스케줄링 능력을 모방하지 못하여 다양한 문제 시나리오에 적응하는 데 어려움을 겪는 단일 메모리 표현과 정적 검색 메커니즘의 한계에 있다. 인지 경제성 원칙에서 영감을 받아, 본 논문에서는 다중 입도(multi-granular) 메모리 표현을 통해 동적 온디맨드 스케줄링을 가능하게 하는 하이브리드 메모리 아키텍처인 HyMem을 제안한다. HyMem은 동적 2계층 검색 시스템과 결합된 이중 입도 저장 방식을 채택한다. 경량 모듈은 효율적인 응답 생성을 위해 요약 수준의 맥락을 구성하는 반면, LLM 기반의 심층 모듈은 복잡한 질의에 대해서만 선택적으로 활성화되며 반복적인 추론 정제를 위한 성찰(reflection) 메커니즘에 의해 강화된다. 실험 결과, HyMem은 LOCOMO와 LongMemEval 벤치마크 모두에서 강력한 성능을 달성했으며, 전체 맥락(full-context) 방식보다 성능이 뛰어나면서도 연산 비용을 92.6% 절감하여 장기 메모리 관리 분야에서 효율성과 성능 간의 최첨단 균형을 확립하였다.

Large language model (LLM) agents demonstrate strong performance in short-text contexts but often underperform in extended dialogues due to inefficient memory management. Existing approaches face a fundamental trade-off between efficiency and effectiveness: memory compression risks losing critical details required for complex reasoning, while retaining raw text introduces unnecessary computational overhead for simple queries. The crux lies in the limitations of monolithic memory representations and static retrieval mechanisms, which fail to emulate the flexible and proactive memory scheduling capabilities observed in humans, thus struggling to adapt to diverse problem scenarios. Inspired by the principle of cognitive economy, we propose HyMem, a hybrid memory architecture that enables dynamic on-demand scheduling through multi-granular memory representations. HyMem adopts a dual-granular storage scheme paired with a dynamic two-tier retrieval system: a lightweight module constructs summary-level context for efficient response generation, while an LLM-based deep module is selectively activated only for complex queries, augmented by a reflection mechanism for iterative reasoning refinement. Experiments show that HyMem achieves strong performance on both the LOCOMO and LongMemEval benchmarks, outperforming full-context while reducing computational cost by 92.6\%, establishing a state-of-the-art balance between efficiency and performance in long-term memory management.