SKT: 검증된 합성 데이터를 활용한 대규모 기술 기반 학습

SKT: Skill-Use Training at Scale via Verified Synthetic Data Generation

에이전트의 기술은 언어 모델 에이전트에게 재사용 가능한 절차적 지식을 제공하는 중요한 메커니즘입니다. 그러나 기술을 단순히 제공한다고 해서 현재 모델이 이러한 기술을 효과적으로 식별하고 적용하며 조정할 수 있는 것을 보장하지는 않습니다. 기술 활용 능력을 향상시키기 위해, 우리는 SKT라는 검증된 데이터 합성 파이프라인을 소개합니다. SKT는 에이전트의 대규모 기술 집합으로부터 기술 기반 작업을 구성하고 실행 가능한 경로를 생성합니다. SKT는 적절한 단일 기술 및 다중 기술 구성을 선택하고, 규칙 기반 및 에이전트 기반 검증과 피드백 기반 수정을 통해 작업을 합성하며, 필수적인 모든 기술을 실질적으로 사용하는 성공적인 경로만 유지합니다. 2,000개의 공개 기술을 사용하여 SKT는 4,000개의 작업 패키지와 27,164개의 검증된 경로를 생성합니다. 동일한 파이프라인과 분리된 테스트 풀을 기반으로, 우리는 기술 활용을 평가하기 위한 실행 가능한 벤치마크인 SkillEval을 추가로 구축했습니다. 다양한 모델, 벤치마크 및 에이전트 환경에서의 실험 결과, SKT에서 생성된 경로에 대한 지도 미세 조정은 일관되게 기술 활용 성능을 향상시킵니다. 검증 관련 분석, 교차 환경 평가 및 확장 실험은 이러한 개선 사항이 고품질의 지도 학습에 의존하며, 특정 에이전트 인터페이스를 넘어 적용될 수 있으며, 더 넓은 범위의 기술 적용과 함께 증가한다는 것을 보여줍니다. 종합적으로 볼 때, 이러한 결과는 검증된 데이터 합성 방법을 기술 활용 훈련을 위한 효과적이고 확장 가능한 접근 방식으로 확립합니다.

Agent skills have become an important mechanism for equipping language-model agents with reusable procedural knowledge. However, providing skills alone does not guarantee that current models can effectively identify, apply, and coordinate them. To improve skill-use capabilities, we introduce SKT, a verified data synthesis pipeline that constructs skill-grounded tasks and executable trajectories from large collections of agent skills. SKT selects suitable single-skill and multi-skill configurations, synthesizes tasks through rule-based and agent-based verification with feedback-guided repair, and retains only successful trajectories that substantially use every required skill. Using 2,000 public skills, SKT produces 4,000 task packages and 27,164 verified trajectories. Based on the same pipeline and a disjoint test pool, we further construct SkillEval, a held-out executable benchmark for evaluating skill use. Experiments across diverse models, benchmarks, and agent harnesses show that supervised fine-tuning on SKT-generated trajectories consistently improves skill-use performance. Verification ablations, cross-harness evaluation, and scaling experiments further demonstrate that these gains depend on high-quality supervision, extend beyond a single agent interface, and increase with broader skill coverage. Together, these results establish verified data synthesis as an effective and scalable approach for skill-use training.