CoEvo-Mem: LLM 에이전트를 위한 공동 진화하는 검색 정책 및 메모리 뱅크

CoEvo-Mem: Co-Evolving Retrieval Policy and Memory Bank for LLM Agents

과제가 진행되고 세션이 이어지는 동안, 장기적인 성능을 갖는 LLM 에이전트는 쿼리에 특화된 검색 기능과 지속적인 메모리 개선 모두에 의존합니다. 그러나 기존 방법들은 일반적으로 메모리 접근 (반복적인 쿼리 개선 또는 적응형 검색 정책) 또는 메모리 진화 (구조적 업데이트 등) 중 하나만을 최적화합니다. 이러한 분리는 근본적인 피드백 루프를 간과합니다. 즉, 검색은 어떤 메모리가 사용 신호를 받는지 결정하며, 업데이트된 메모리 뱅크는 향후 검색에 영향을 미칩니다. 본 논문에서는 검색 정책과 메모리 뱅크의 공동 진화를 위한 폐쇄형 프레임워크인 extbf{CoEvo-Mem}을 제안합니다. 각 쿼리에 대해, 고정된 LLM은 쿼리와 관련된 재작성 및 라우팅 우선 순위를 생성하며, 경량화된 잔차 라우터가 이를 실시간으로 수정합니다. 검색된 컨텍스트는 두 학습 프로세스 간의 연결 인터페이스 역할을 합니다. 작업 결과는 라우팅 결정에 대한 보상을 제공하며, 궤적 기반 피드백은 메모리 값과 그래프 관계를 업데이트합니다. 이러한 업데이트는 메모리가 순위화되고 후속 쿼리에 선택되는 방식을 변경하여 피드백 루프를 완성합니다. extbf{CoEvo-Mem}은 결합으로 인한 비정상성을 완화하기 위해 라우터 업데이트 시 메모리 뱅크를 고정하고, 메모리 뱅크 진화 시 검색 정책을 고정하는 방식으로 작동합니다. 일곱 가지 다양한 벤치마크에서 extbf{CoEvo-Mem}은 최첨단 성능을 달성했으며, 이는 검색과 메모리의 공동 진화의 중요성을 보여줍니다.

As memories accumulate across tasks and sessions, the performance of long-term LLM agents depends jointly on query-specific retrieval and continual memory refinement. However, existing methods typically optimize either memory access, through iterative query refinement or adaptive retrieval policies, or memory evolution such as structural update. This separation overlooks a fundamental feedback loop: retrieval determines which memories receive usage signals, while updated memory bank reshape future retrieval. We propose \textbf{CoEvo-Mem}, a closed-loop framework for co-evolving the retrieval policy and memory bank. For each query, a frozen LLM generates route-specific query rewrites and a routing prior, which a lightweight residual router corrects online. The retrieved context serves as the coupling interface between the two learning processes: task outcomes assign credit to routing decisions, while trajectory-conditioned feedback updates memory values and graph relations. These updates alter how memories are ranked and selected for subsequent queries, thereby closing the feedback loop. To mitigate coupling induced non-stationarity, CoEvo-Mem alternates between updating the router with the memory bank fixed and evolving the memory bank with the retrieval policy fixed. Across seven diverse benchmarks, \textbf{CoEvo-Mem} achieves state-of-the-art performance, demonstrating the importance of retrieval-memory coevolution.