AutoRefine: 지속적인 LLM 에이전트 개선을 위해 궤적을 재사용 가능한 전문 지식으로 전환

AutoRefine: Compiling Trajectories into Validated Typed Agent Artifacts

대규모 언어 모델(LLM) 에이전트는 종종 각 작업을 독립적인 도전 과제로 인식하여 경험으로부터 지식을 축적하지 못하는 경우가 많습니다. 최근의 연구들은 경험을 평면적인 텍스트 지식으로 추출하지만, 이는 복잡한 하위 작업의 절차적 논리를 포착하지 못합니다. 또한 유지 관리 메커니즘의 부재로 인해 경험이 축적될수록 저장소의 품질이 저하되는 문제가 발생합니다. 이에 우리는 에이전트의 실행 기록으로부터 이중 형태의 '경험 패턴(Experience Patterns)'을 추출하고 관리하는 프레임워크인 AutoRefine을 제안합니다. 절차적 하위 작업에 대해서는 독립적인 추론과 메모리를 갖춘 전문화된 하위 에이전트를 추출하고, 정적 지식에 대해서는 가이드라인이나 코드 스니펫 형태의 기술 패턴을 추출합니다. 또한 지속적인 유지 관리 메커니즘을 통해 패턴을 점수화, 가지치기(pruning), 병합함으로써 저장소 품질 저하를 방지합니다. ALFWorld, ScienceWorld, TravelPlanner에서 평가한 결과, AutoRefine은 각각 98.4%, 70.4%, 27.1%의 성공률을 달성했으며, 실행 단계 수를 20~73% 단축시켰습니다. 특히 TravelPlanner에서는 자동 추출 방식이 수동으로 설계된 시스템의 성능(27.1% 대 12.1%)을 능가하여, 절차적 조정 능력을 효과적으로 포착함을 입증했습니다.

Large language model agents repeatedly encounter related tasks, yet systems that learn from trajectories commit every lesson to one predefined artifact form. A local constraint, a reusable procedure, and a delegated objective require different amounts of runtime ownership, so one form either under-specifies the correction or wraps it in execution machinery it does not need. We present AutoRefine, which treats trajectory learning as typed artifact compilation. It contrasts failed against successful trajectories to derive a type-neutral, evidence-linked intervention specification, then compiles that specification into the first Rule, Skill, or bounded Subagent that closes it under a runtime-relative ownership order: the selected schema must own every specified observation, state variable, dependent decision, and completion condition. Validation is stated in the same terms: a type-specific contract gate tests whether the generated object realizes its declared boundary, and a replay gate admits it only when it improves the correction cases linked to its source failures without regression on preservation cases. With GPT-5.6-terra as the shared backbone, AutoRefine records the highest success on ALFWorld, ScienceWorld, TravelPlanner, and SpreadsheetBench, and ties the best result on SkillCraft; on TravelPlanner it reaches 80.56% success against 50.0% for the strongest baseline. Removing boundary closure or replay validation costs 15.00 and 16.11 percentage points, the two largest losses among our construction and admission policies. In a longitudinal TravelPlanner stream, the repository holds 89--91% held-out success after 60 learning tasks with no net loss on previously solved tasks, and frozen repositories improve all 25 evaluated source--target pairs, more within a domain (14.20 points on average) than across domains (6.99).