메타 태스크: 최종 작업 생성 방식을 확장 가능한 에이전트 학습을 위한 최종 작업으로 전환

Meta-Task: Turning Terminal Task Synthesis into a Terminal Task for Scalable Agent Training

대규모로 최종 에이전트를 훈련하려면 다양하고 검증 가능한 최종 작업과 고품질의 상호 작용 데이터가 필요하지만, 이러한 데이터를 확보하는 것은 여전히 중요한 과제입니다. 기존의 합성 방법은 다음과 같은 두 가지 주요 한계를 가지고 있습니다 (1) 작업 생성과 실제 실행 간의 불일치로 인한 낮은 신뢰성 및 (2) 기존 저장소에 대한 의존성으로 인한 제한된 다양성과 확장성. 우리는 메타 태스크(Meta-Task)라는 프레임워크를 제안합니다. 이는 최종 작업 생성을 자체적으로 '터미널 벤치(Terminal-Bench)' 형식의 작업으로 재정의하는 것입니다. 에이전트는 실제 컨테이너 환경 내에서 작동하며, 작업을 반복적으로 생성, 실행 및 검증하여 합성된 구성 요소가 생성 루프 내 자체적으로 내부 일관성과 실행 가능성을 갖도록 합니다. 이를 바탕으로, 우리는 목표 작업 요구 사항을 여러 측면에서 분리하고, 실제 작업을 생성하기 전에 동적으로 새로운 작업 사양을 설계하는 다단계 메커니즘을 도입하며, 다양성과 현실감을 높이기 위해 선택적인 외부 자료 지원을 통합합니다. 또한, 최종 훈련 데이터의 품질을 보장하기 위해 LLM(Large Language Model)을 활용한 심사 필터링을 적용했습니다. Terminal-Bench 2.0에서 진행된 실험 결과, 메타 태스크로 생성된 3,221개의 상호 작용 데이터만을 사용하여 파인튜닝했을 때 Qwen3-14B 모델과 Qwen3-32B 모델 각각 22.5% 및 31.8%의 Avg Pass@1 성능을 달성했으며, 이는 훨씬 적은 훈련 데이터를 사용한 다른 기존 방법보다 우수한 성능입니다.

Training terminal agents at scale requires diverse, verifiable terminal tasks and high-quality interaction trajectories, yet acquiring such data remains a significant challenge. Existing synthesis methods face two key limitations: (1) weak reliability caused by the disconnect between task generation and real execution, and (2) limited diversity and scalability due to dependence on existing repositories. We propose Meta-Task, a framework that redefines terminal task synthesis as a Terminal-Bench-format task itself: an agent operates within a real container environment to iteratively generate, execute, and verify tasks, so that synthesized components are checked for internal consistency and executability within the generation loop itself. Building upon this, we decouple the target task requirements along multiple dimensions, introduce a multi-phase mechanism that dynamically designs novel task specifications before producing the actual tasks, and incorporate optional external material support to enhance diversity and realism. We additionally apply LLM-as-Judge filtering to ensure the quality of the final training data. Experiments on Terminal-Bench 2.0 show that fine-tuning on only 3,221 Meta-Task synthesized trajectories achieves 22.5% and 31.8% Avg Pass@1 for Qwen3-14B and Qwen3-32B respectively, outperforming concurrent approaches with significantly less training data.