SkillMOO: 소프트웨어 엔지니어링을 위한 에이전트 기술의 다중 목표 최적화

SkillMOO: Multi-Objective Optimization of Agent Skills for Software Engineering

에이전트 기술은 LLM 기반 코딩 에이전트에 모듈화되고 작업별 지침을 제공하지만, 성공률, 비용 및 실행 시간을 균형 있게 조정하는 기술 조합을 수동으로 조정하는 것은 비용이 많이 들고 불안정합니다. 본 논문에서는 SkillMOO라는 다중 목표 최적화 프레임워크를 제시합니다. SkillMOO는 LLM이 제안하는 수정 사항과 NSGA-II 생존자 선택 방식을 사용하여 기술 조합을 자동으로 발전시킵니다. 솔버 에이전트는 코딩 작업에서 후보 기술 조합을 평가하고, 옵티마이저 에이전트는 실패 분석을 기반으로 기술 조합 수정 사항을 제안합니다. SkillMOO는 SkillsBench의 세 가지 소프트웨어 엔지니어링 작업에서 최적 기준선 대비 통과율을 최대 131% 향상시키고, 비용을 최대 32% 절감했습니다. 패턴 분석 결과, 가지치기와 대체가 성능 향상의 주요 원동력임을 알 수 있으며, 이는 효과적인 기술 조합이 축적된 지침보다 최소한의, 집중적인 콘텐츠를 선호한다는 것을 시사합니다.

Agent skills provide modular, task-specific guidance for LLM- based coding agents, but manually tuning skill bundles to balance success rate, cost, and runtime is expensive and fragile. We present SkillMOO, a multi-objective optimization framework that automatically evolves skill bundles using LLM-proposed edits and NSGA-II survivor selection: a solver agent evaluates candidate skill bundles on coding tasks and an optimizer agent proposes bundle edits based on failure analysis. On three SkillsBench software engineering tasks, SkillMOO improves pass rate by up to 131% while reducing cost up to 32% relative to the best baseline per task at low optimization overhead. Pattern analysis reveals pruning and substitution as primary drivers of improvement, suggesting effective bundles favor minimal, focused content over accumulated instructions.