자기 개선 LLM 에이전트를 위한 경험적 성찰 학습

Experiential Reflective Learning for Self-Improving LLM Agents

최근 대규모 언어 모델(LLM)의 발전은 복잡한 추론과 다단계 문제 해결이 가능한 자율 에이전트 개발을 가능하게 했습니다. 그러나 이러한 에이전트는 특수한 환경에 적응하는 데 어려움을 겪으며, 축적된 경험에 관계없이 각 새로운 작업을 처음부터 시작하는 경향이 있습니다. 본 연구에서는 경험적 학습을 통해 빠른 환경 적응을 가능하게 하는 간단한 자기 개선 프레임워크인 경험적 성찰 학습(ERL)을 소개합니다. ERL은 작업 경로와 결과를 분석하여 유용한 지침(heuristics)을 생성하며, 이러한 지침은 다양한 작업에 적용될 수 있습니다. 테스트 시, 현재 작업과 관련된 지침을 검색하여 에이전트의 컨텍스트에 주입함으로써 실행을 안내합니다. Gaia2 벤치마크에서 ERL은 ReAct 모델을 기준으로 성공률을 7.8% 향상시켰으며, 작업 완료의 신뢰성이 크게 향상되었고, 기존의 경험적 학습 방법보다 우수한 성능을 보였습니다. 체계적인 분석을 통해 선택적 검색이 필수적이며, 퓨-샷 트레jectory 프롬프트보다 지침이 더 일반화된 추상화를 제공한다는 것을 확인했습니다. 이러한 결과는 단일 시도의 경험을 분석하여 전달 가능한 지침을 추출함으로써 효과적인 에이전트 자기 개선이 가능하다는 것을 보여줍니다.

Recent advances in large language models (LLMs) have enabled the development of autonomous agents capable of complex reasoning and multi-step problem solving. However, these agents struggle to adapt to specialized environments and do not leverage past interactions, approaching each new task from scratch regardless of their accumulated experience. We introduce Experiential Reflective Learning (ERL), a simple self-improvement framework that enables rapid environment adaptation through experiential learning. ERL reflects on task trajectories and outcomes to generate heuristics, capturing actionable lessons that transfer across tasks. At test time, relevant heuristics are retrieved based on the current task and injected into the agent's context to guide execution. On the Gaia2 benchmark, ERL improves success rate by 7.8% over a ReAct baseline, with large gains in task completion reliability, and outperforms prior experiential learning methods. Through systematic ablations, we find that selective retrieval is essential and that heuristics provide more transferable abstractions than few-shot trajectory prompting. These results demonstrate that reflecting on single-attempt experiences to extract transferable heuristics enables effective agent self-improvement.