MetaSkill-Evolve: 두 가지 시간 척도를 활용한 LLM 에이전트의 재귀적 자기 개선 방법

MetaSkill-Evolve: Recursive Self-Improvement of LLM Agents via Two-Timescale Meta-Skill Evolution

최근 LLM 기반 에이전트는 점점 더 복잡하고 장기적인 작업과 외부 지식(에이전트에 제공되는 재사용 가능한 절차적 지식)을 처리하는 능력을 보여줍니다. 하지만, 고정된 수동으로 작성된 기술은 최적이 아니며, 에이전트가 마주치는 다양한 작업에 적응할 수 없습니다. 자기 개선 에이전트는 실행 추적 정보를 바탕으로 자체적으로 기술 파일을 수정하여 어려운 벤치마크에서 상당한 성능 향상을 달성합니다. 하지만 이러한 자기 진화는 재귀적이지 않습니다. 즉, 수행하는 작업 기술(에이전트가 무엇을 하는지)은 개선되지만, 개선 절차(어떻게 개선하는지)는 한 번 작성되면 고정되어 있습니다. 본 논문에서는 MetaSkill-Evolve라는 두 가지 시간 척도를 사용하는 프레임워크를 소개합니다. 이는 에이전트 기술의 개선을 재귀적으로 만듭니다. 각 분기에는 작업 기술 $s$와 함께 해당 분기에 국한된 메타 기술 $m=(ψ,σ,α,π, ext{ε})$가 존재하며, 이 다섯 가지 구성 요소는 분석기(Analyzer), 검색기(Retriever), 할당기(Allocator), 제안기(Proposer) 및 진화기(Evolver) 에이전트의 개선 파이프라인을 매개변수화합니다. 작업 기술은 빠른 주기로 진화하는 반면, 메타 기술은 동일한 파이프라인이 자체적으로 적용되면서 느린 주기로 진화하며, 추가적인 모델이나 목표는 사용되지 않습니다. MetaSkill-Evolve는 다섯 가지 파이프라인 에이전트가 단일 고정된 기본 구조를 공유하므로, OfficeQA, SealQA 및 ALFWorld라는 세 가지 에이전트 벤치마크에서 기술을 전혀 사용하지 않거나, 정적인 기술을 사용하거나, 단일 수준의 진화를 수행하는 기존 방법보다 뛰어난 성능을 보입니다. 특히, MetaSkill-Evolve는 원본 기본 모델에 비해 각각 +23.54%, +16.09% 및 +1.92%의 향상된 테스트 정확도를 달성했습니다.

Recent LLM agents tackle increasingly long-horizon, open-ended tasks, and external skills, reusable procedural knowledge supplied to the agent, further extend this capability. However, a fixed, hand-authored skill is rarely optimal, and cannot adapt to the diversity of tasks an agent encounters. Self-improving agents address this by rewriting their own skill files from execution traces, yielding meaningful gains on challenging benchmarks. Yet such self-evolution remains non-recursive: it improves only the task skill (what the agent does) while the improvement procedure (how it improves) is authored once and held fixed. We introduce MetaSkill-Evolve, a two-timescale framework that makes agentic skill improvement recursive: every branch carries both a task skill $s$ and a branch-local meta-skill $m=(ψ,σ,α,π,\varepsilon)$ whose five components parameterise the Analyzer, Retriever, Allocator, Proposer, and Evolver agents of the improvement pipeline. Task skills evolve on a fast loop while the meta-skill evolves on a slower one under the same pipeline applied to itself, with no additional model or objective. With all five pipeline agents sharing a single frozen backbone, MetaSkill-Evolve outperforms no-skill, static-skill, and single-level evolution baselines on three agentic benchmarks (OfficeQA, SealQA, ALFWorld), improving held-out test accuracy over the raw backbone by +23.54, +16.09, and +1.92 points respectively.