UniMem: 경계에 구애받지 않는 작업 스트림을 위한 상호 보완적인 에피소드-파라미터 메모리

UniMem: Complementary Episodic-to-Parametric Memory for Boundary-Agnostic Task Streams

메모리는 LLM 에이전트가 작업 경험을 축적하고 작업별 실행 전략을 재사용하는 데 필수적입니다. 그러나 경계에 구애받지 않고 진화하는 작업 스트림에서의 실제 배포는 근본적인 안정성-유연성 딜레마를 야기합니다. 외부 검색 기반 메모리는 새로운 정보를 빠르게 흡수할 수 있지만, 반복되는 실행 패턴을 내부적으로 학습하지 못하고 추론 시간의 검색 오버헤드를 발생시키는 경우가 많습니다. 파라미터 메모리는 학습되면 안정적이고 효율적인 실행을 가능하게 하지만, 일반적으로 명시적인 작업 경계와 고정된 파라미터 예산에 의존합니다. 인간 뇌가 상호 보완적인 에피소드 저장과 점진적인 통합을 통해 유연성과 안정성을 균형 있게 유지하는 것처럼, 우리는 자율 메모리 관리를 위한 자체 라우팅 프레임워크인 UniMem을 제안합니다. UniMem은 학습 가능한 라우팅 토큰을 메모리 컨트롤러로 사용하여 상호 보완적인 메모리 경로 간의 적응적 조화를 가능하게 합니다. 새로운 또는 희소한 작업은 검색 증강 실행을 위해 에피소드 버퍼에 저장되고, 반복적이고 신뢰할 수 있는 패턴은 확장 가능한 파라미터 메모리로 통합됩니다. UniMem은 라우팅 토큰과 파라미터 메모리 블록을 사용하여 작업 식별을 작업 실행에서 분리함으로써, 배포 또는 제어되지 않은 파라미터 증가 없이 필요에 따라 메모리를 확장합니다. 장기적인 스트리밍 작업 시퀀스에 대한 실험 결과, UniMem은 기본 모델보다 일관되게 우수한 성능을 보이며 실행 정확도를 유지하고, 세 가지 주요 모델에서 평균 4.0 EM 포인트의 향상을 달성했습니다.

Memory is essential for LLM agents to accumulate task experience and reuse task-specific execution strategies. However, real-world deployment over boundary-agnostic and evolving task streams exposes a fundamental stability-plasticity dilemma. External retrieval-based memory can rapidly absorb new evidence, but it often fails to internalize recurring execution patterns and incurs inference-time retrieval overhead. Parametric memory enables stable and efficient execution once learned, but typically relies on explicit task boundaries and fixed parameter budgets. Inspired by the human brain, which balances plasticity and stability through complementary episodic storage and gradual consolidation, we propose UniMem, a self-routing framework for autonomous memory management. UniMem uses learnable routing tokens as memory controllers, enabling adaptive coordination between complementary memory pathways: novel or sparse tasks are retained in an episodic buffer for retrieval-augmented execution, while recurring and reliable patterns are consolidated into expandable parametric memory. By decoupling task identification from task execution with routing tokens and parametric memory blocks, UniMem expands memory on demand without task labels during deployment or uncontrolled parameter growth. Experiments on long-horizon streaming task sequences show that UniMem consistently outperforms baselines while maintaining execution fidelity, achieving an average gain of 4.0 EM points across three backbone models.