에이전트 메모리 증류: 계층적 교사 메모리를 활용하여 소형 LLM 에이전트 강화

Agent Memory Distillation: Empowering Small LLM Agents with Hierarchical Teacher Memory

메모리 시스템은 에이전트 성능 향상에 유망한 결과를 보여주었지만, 자체적으로 충분히 성공적인 경로를 생성하는 데 어려움을 겪는 소형 언어 모델의 경우 그 잠재력이 아직 크게 활용되지 못하고 있습니다. 본 연구에서는 계층적 메모리를 통해 대규모 교사 에이전트로부터 구조화된 지식을 소형 학생 에이전트로 전달하는, 학습 과정이 필요 없는 프레임워크인 Agent Memory Distillation (AMD)을 제안합니다. AMD는 성공적인 교사 경로에서 세 가지 상호 보완적인 메모리 유형을 구성합니다. 워크플로우 메모리는 작업 수준의 전략을 인코딩하고, 서브태스크 메모리는 중간 수준의 구체적인 행동 예시를 제공하며, 함수 메모리는 함수 호출 규칙과 일반적인 오류를 포착합니다. 워크플로우 및 서브태스크 메모리는 각 작업 시작 시점에 적극적으로 주입되는 반면, 함수 메모리는 도구 사용 오류 발생 시에 반응적으로 검색됩니다. GPT-5-mini를 교사 모델로 사용하여 매개변수 4B~8B의 네 가지 학생 모델을 대상으로 AppWorld, BFCL V3 및 ToolSandbox 세 가지 도구 사용 벤치마크에서 AMD를 평가한 결과, 평균적으로 각각 27.2%, 11.2% 및 3.4%의 정확도 향상을 보였으며, 기존의 메모리 기반 방법보다 일관되게 우수한 성능을 나타냈습니다. 추가 분석 결과, 서브태스크 메모리가 가장 큰 성능 향상에 기여하며, 교사 모델의 효과는 교사 모델의 능력과 학생 모델과의 호환성에 모두 의존한다는 점, 그리고 4B 크기의 학생 모델이 AMD로부터 가장 큰 이점을 얻는다는 점을 확인했습니다.

Memory systems have shown promise for improving agent performance, but their potential remains largely unexplored for small language models, which struggle to generate sufficient successful trajectories on their own. We propose Agent Memory Distillation (AMD), a training-free framework that transfers structured knowledge from a large teacher agent to a small student agent through hierarchical memory. AMD constructs three complementary memory types from successful teacher trajectories: Workflow memory encodes task-level strategies, Subtask memory provides concrete behavioral examples at an intermediate granularity, and Function memory captures per-function calling conventions and common pitfalls. Workflow and Subtask memories are injected proactively at the start of each task, while Function memory is retrieved reactively upon tool-calling errors. We evaluate AMD on three tool-use benchmarks using four student models (4B-8B parameters) with GPT-5-mini as the teacher, achieving average accuracy gains of 27.2%p, 11.2%p, and 3.4%p on AppWorld, BFCL V3, and ToolSandbox, while consistently outperforming existing memory-based baselines. Further analysis shows that Subtask memory contributes the largest gains, teacher effectiveness depends on both teacher capability and student compatibility, and 4B-sized students benefit most from AMD.