SkillMentor: LLM 에이전트의 학습 미비점 진단을 통한 자기 발전

SkillMentor: LLM Agent Self-Evolution via Learning Blind-Spot Diagnosis

에이전트 자기 발전은 주로 행동 방식을 학습하는 데 초점을 맞춰왔지만, 그만큼 중요한 능력인 '에이전트가 무엇을 모르는지'를 파악하는 것을 간과해 왔습니다. 기존 접근 방식은 일반적으로 오류 발견 과정을 주어진 것으로 가정하고, 오류가 식별된 후에 어떻게 수정할지에 집중합니다. 본 연구에서는 미비점 진단 자체를 학습할 수 있는지 질문하며, 실행 능력과는 별개의 에이전트 능력을 통해 진단을 수행하는 방식을 탐구했습니다. 또한, executor 적응 및 인간 감독이라는 대안적인 발전 경로를 배제하여, 성능 향상이 오직 학습된 진단 능력에서만 비롯되도록 했습니다. 본 연구에서는 SkillMentor를 제안하며, 강화 학습을 통해 Mentor 정책을 훈련시켜 진단 작업을 생성하고, 반복되는 오류 패턴을 식별하며, 이를 재사용 가능한 수정 기술로 구성합니다. AppWorld 및 BFCLv3 데이터셋에 대한 실험 결과, SkillMentor는 executor 성능을 평균 44.2% 향상시켰습니다. 이러한 결과는 미비점 진단이 학습 가능한 능력이며, executor의 가중치를 업데이트하거나 인간이 선별한 데이터를 사용하지 않고도 자기 발전을 가능하게 한다는 것을 시사합니다.

Agent self-evolution has primarily focused on learning how to act, while overlooking an equally important capability: learning to discover what an agent does not know. Existing approaches typically assume that failure discovery is given, focusing on how to repair failures once they are identified. We ask whether blind-spot diagnosis itself can be learned. We thus study diagnosis as an agent capability separate from execution, and exclude two alternative sources of progress: executor adaptation and human supervision. Under these constraints, performance cannot improve through executor updates or annotated examples, forcing all improvements to originate from the learned diagnostic capability. We propose SkillMentor, which trains a Mentor policy via reinforcement learning to generate diagnostic tasks, identify recurrent failure modes, and curate them into reusable corrective skills. Across AppWorld and BFCLv3, SkillMentor improves executor performance by an average of 44.2%. These results suggest that blind-spot diagnosis is a learnable capability, enabling self-evolution without updating executor weights or relying on human-curated data.