자기 개선 에이전트 시스템을 위한 경로 정보 기반 메모리 생성

Trajectory-Informed Memory Generation for Self-Improving Agent Systems

LLM 기반 에이전트는 지속적인 과제에 직면하는데, 바로 실행 경험을 통해 학습하여 향후 성능을 개선하는 것입니다. 에이전트는 많은 작업을 성공적으로 완료할 수 있지만, 종종 비효율적인 패턴을 반복하고, 유사한 오류로부터 회복하지 못하며, 과거 실행에서 얻은 성공적인 전략을 적용할 기회를 놓치는 경우가 많습니다. 본 논문에서는 에이전트 실행 경로로부터 유용한 학습 정보를 자동으로 추출하고, 문맥 기반 메모리 검색을 통해 향후 성능을 개선하는 새로운 프레임워크를 제시합니다. 본 접근 방식은 다음 네 가지 구성 요소로 이루어집니다. (1) 경로 지능 추출기: 에이전트의 추론 패턴에 대한 의미 분석을 수행합니다. (2) 의사 결정 귀속 분석기: 어떤 의사 결정 및 추론 단계가 실패, 회복 또는 비효율성을 초래했는지 식별합니다. (3) 문맥 기반 학습 생성기: 성공적인 패턴에서 얻은 전략 팁, 실패 처리에서 얻은 회복 팁, 그리고 비효율적이지만 성공적인 실행에서 얻은 최적화 팁의 세 가지 유형의 지침을 생성합니다. (4) 적응형 메모리 검색 시스템: 다차원 유사성을 기반으로 관련 학습 정보를 에이전트 프롬프트에 주입합니다. 기존의 일반적인 대화 사실을 저장하는 메모리 시스템과 달리, 본 프레임워크는 실행 패턴을 이해하고, 출처가 명확한 구조화된 학습 정보를 추출하며, 특정 작업 컨텍스트에 맞는 지침을 검색합니다. AppWorld 벤치마크에 대한 평가 결과, 일관된 성능 향상이 확인되었으며, 특히 복잡한 작업에서 14.3% 포인트의 시나리오 목표 달성률 향상, 그리고 상대적으로 149%의 목표 달성률 증가를 보였습니다 (28.5~pp 시나리오 목표 개선).

LLM-powered agents face a persistent challenge: learning from their execution experiences to improve future performance. While agents can successfully complete many tasks, they often repeat inefficient patterns, fail to recover from similar errors, and miss opportunities to apply successful strategies from past executions. We present a novel framework for automatically extracting actionable learnings from agent execution trajectories and utilizing them to improve future performance through contextual memory retrieval. Our approach comprises four components: (1) a Trajectory Intelligence Extractor that performs semantic analysis of agent reasoning patterns, (2) a Decision Attribution Analyzer that identifies which decisions and reasoning steps led to failures, recoveries, or inefficiencies, (3) a Contextual Learning Generator that produces three types of guidance -- strategy tips from successful patterns, recovery tips from failure handling, and optimization tips from inefficient but successful executions, and (4) an Adaptive Memory Retrieval System that injects relevant learnings into agent prompts based on multi-dimensional similarity. Unlike existing memory systems that store generic conversational facts, our framework understands execution patterns, extracts structured learnings with provenance, and retrieves guidance tailored to specific task contexts. Evaluation on the AppWorld benchmark demonstrates consistent improvements, with up to 14.3 percentage point gains in scenario goal completion on held-out tasks and particularly strong benefits on complex tasks (28.5~pp scenario goal improvement, a 149\% relative increase).