자기 발전 재고: 기술 과적합을 완화하기 위한 제약 조건 하의 탐색-활용 과정

Rethinking Self-Evolution: A Constrained Exploration-Exploitation Process for Mitigating Skill Overfitting

대규모 언어 모델(LLM) 에이전트가 과거 상호 작용으로부터 경험을 축적하고 재사용하는 것은 실제 응용 분야에서 핵심적인 과제입니다. 유망한 해결책은 기술을 훈련 가능한 상태로 취급하고, 신경망 학습에서 모델 파라미터를 최적화하는 것과 동일한 방식으로 이를 최적화하는 것입니다. 그러나 데이터 기반 기술 최적화는 실제 환경에서 수집된 제한적인 경로에 과적합될 가능성이 높습니다. 이러한 경로를 지나치게 활용하면 현재 배치에 과적합이 발생하고, 제약 없는 탐색은 이전에 해결했던 문제에서 성능 저하를 초래합니다. 이러한 긴장은 기술의 자기 발전 과정을 제약 조건 하에서의 검색 관점에서 바라보는 것을 유도하며, 이는 탐색-활용 균형에 의해 조정됩니다. 우리는 SkillBoost라는 세 단계 프레임워크를 제안하는데, 이 프레임워크는 두 가지 위험을 모두 완화합니다. 구조화된 활용은 관찰된 실패를 수정 가능한 기술 구성 요소로 지역화하고, 사전 지식 기반 탐색은 LLM의 기존 지식을 활용하여 다양한 수정 후보를 생성하며, 검증된 수용은 성능이 특정 성능 저하 범위 내에서 향상되는 경우에만 후보를 적용합니다. 23개의 모델-벤치마크 구성에 대한 실험 결과, SkillBoost는 과적합을 완화하면서 최첨단 성능을 달성했으며, 인간이 설계한 기술과 LLM이 생성한 기술 모두보다 뛰어난 성능을 보였습니다. 추가적인 전이 학습 실험에서는 최적화된 기술이 유사한 작업에서 다른 에이전트에 의해 재사용될 수 있음을 보여줍니다.

Enabling large language model (LLM) agents to accumulate and reuse experience from past interactions remains a central challenge in real-world applications. A promising solution is to treat skills as trainable states and optimize them in the same way as model parameters in neural network training. However, data-driven skill optimization is prone to overfitting to the limited trajectories collected from real environments. Overexploiting these trajectories overfits the current batch, while unconstrained exploration causes regression on previously solved cases. This tension motivates a constrained search view of skill self-evolution, governed by an exploration--exploitation trade-off. We propose SkillBoost, a three-stage framework that mitigates both risks: structured exploitation localizes observed failures to editable skill components, prior-guided exploration draws on prior knowledge in the LLM to generate diverse repair candidates, and verified acceptance commits a candidate only when it improves performance within a regression bound. Experiments across 23 model--benchmark configurations show that SkillBoost achieves state-of-the-art performance while mitigating overfitting, outperforming both human-crafted and LLM-generated skills. Transfer experiments further show that optimized skills can be reused by other agents on similar tasks.