자가 지도 기반 기술 최적화

Self-Supervised Skill Optimization

에이전트 기술은 재사용 가능한 절차적 지침을 제공하여, 기존의 대규모 언어 모델(LLM) 에이전트를 지원하며, 최근 연구에서는 이러한 기술들이 실제 정답(GT) 피드백을 통해 최적화될 수 있다는 것을 보여줍니다. 그러나 많은 응용 분야에서 GT 라벨, 작업 점수, 보상 또는 신뢰할 수 있는 작업별 평가 도구가 존재하지 않습니다. 따라서 우리는 레이블이 없는 작업 인스턴스만 사용하여 재사용 가능한 기술을 학습하는 비교 프레임워크인 자가 지도 기반 기술 최적화(SSO)를 소개합니다. SSO는 각 단계에서 현재 기술을 레이블이 없는 배치에 적용하고, 생성된 실행 결과의 일부 집합을 사용하여 완전한 기술 탐색을 수행하며, 이러한 탐색을 동일한 배치에 적용합니다. LLM 판별기는 결과적으로 생성된 답변, 경로, 산출물 또는 최종 상태를 비교합니다. 별도의 행동 추출기는 판별기의 결정 없이 행동적 차이를 식별합니다. SSO는 이러한 결정을 사용하여 인스턴스 전체에서 관찰된 행동에 대한 증거를 수집하고, 그 결과를 바탕으로 행동을 순위화하여 가장 높은 순위를 가진 행동들을 기반으로 새로운 완전한 기술을 생성합니다. 업데이트는 새 기술이 레이블이 없는 검증 세트에서 현재 기술보다 성능이 우수한 경우에만 적용됩니다. SSO는 기존의 GT-free 프롬프트 최적화 방법보다 폐쇄형 및 개방형 작업 모두에서 더 나은 성능을 보입니다. 폐쇄형 벤치마크에서는 GT 피드백 없이도 가장 강력한 GT 기반 기술 최적화 방법에 근접하거나 능가하는 성능을 보이기도 합니다.

Agent skills provide frozen large language model (LLM) agents with reusable procedural guidance, and recent work shows that such skills can be optimized with ground-truth (GT) feedback. Many applications, however, lack GT labels, task scores, rewards, or reliable task-specific evaluators. We therefore introduce Self-Supervised Skill Optimization (SSO), a comparative framework that learns a reusable skill from unlabeled task instances alone. At each step, SSO runs the current skill on an unlabeled batch, uses a subset of the resulting executions to generate complete skill probes, and runs the probes on the same batch. An LLM judge compares the resulting answers, trajectories, artifacts, or terminal states. A separate behavior extractor identifies behavioral differences without seeing the judge's decisions. SSO uses these decisions to aggregate evidence for and against the observed behaviors across instances. It then ranks the behaviors by the resulting evidence and renders a new complete skill from the highest-ranked behaviors. The update is accepted only if the new skill outperforms the current one on an unlabeled validation set. SSO outperforms existing GT-free prompt optimizers on both closed-ended and open-ended tasks. On closed-ended benchmarks, it approaches and sometimes exceeds the strongest GT-based skill optimizer without using any GT feedback.