CLI-Universe: 터미널 에이전트를 위한 검증 가능한 작업 합성 엔진 개발

CLI-Universe: Towards Verifiable Task Synthesis Engine for Terminal Agents

최근 LLM 기반 터미널 에이전트가 유망한 기능을 보여주고 있지만, 고품질의 실행 가능한 학습 데이터 부족은 여전히 중요한 걸림돌입니다. 기존의 합성 파이프라인은 일반적으로 표면적인 특징을 작업에 단순히 추가하는 방식으로 확장되며, 이는 종종 모호한 지침, 얕은 실행 경로 및 취약한 테스트를 생성하여 미약한 학습 신호를 제공합니다. 이러한 문제를 해결하기 위해, 우리는 터미널 에이전트 작업을 구성하는 체계적인 합성 엔진인 CLI-Universe를 소개합니다. CLI-Universe는 다차원 능력 분류(도메인, 기술 유형, 기능 및 엔지니어링 축)의 조합을 샘플링하여 후보 작업을 생성하고, 실제 기술 자료에 대한 증거 기반 심층 연구를 통해 각 후보 작업을 구체화합니다. 엄격한 감독을 보장하기 위해, 검증된 설계는 Docker 환경으로 구현되고, rubic 기준에 따른 테스트 생성, 힌트 조건부 필터링 및 엄격한 실패-성공 확인 파이프라인을 포함하는 다단계 실행 가능성 검증 프로세스를 거칩니다. 후보 작업 생성부터 검증까지 전체 파이프라인에서 약 2/3의 후보 작업이 제거되어, 진실되고 검증 가능하며 의미 있게 어려운 작업만 남게 됩니다. 우리 프레임워크를 검증하기 위해, 6,000개의 시퀀스로 구성된 CLI-Universe-6K라는 고도로 정제된 데이터셋을 구축했습니다. 놀랍게도, CLI-Universe-6K에 대해 Qwen3-32B 모델을 미세 조정했을 때 Terminal-Bench 2.0에서 33.4%의 성능을 달성했습니다. 이는 320억 개 이하의 파라미터를 가진 오픈 소스 데이터로 학습된 모델의 새로운 최고 성능 기록이며, 훨씬 더 큰 규모의 여러 모델보다 우수한 성능을 보여주며, 체계적이고 고품질의 합성 데이터가 얼마나 효율적인 학습 신호를 제공하는지 입증합니다.

While recent LLM-based terminal agents have demonstrated promising capabilities, the scarcity of high-quality, executable training data remains a critical bottleneck. Existing synthesis pipelines typically scale by retrofitting surface-level artifacts into tasks, frequently yielding ambiguous instructions, shallow execution paths, and brittle tests that provide weak learning signals. To overcome this, we introduce CLI-Universe, a principled synthesis engine that constructs terminal-agent tasks. CLI-Universe generates candidate tasks by sampling combinations across a multi-dimensional capability taxonomy (domain, skill type, capability, and engineering pillar), then grounds each candidate through evidence-guided deep research over real-world technical materials. To ensure rigorous supervision, validated blueprints are instantiated into Dockerized environments and subjected to a multi-stage executable verification pipeline featuring rubric-gated test construction, hint-conditional filtering, and strict fail-to-pass checking. Across the full pipeline, from candidate generation to verification, approximately two-thirds of candidates are discarded, retaining only those that are genuine, verifiable, and non-trivially challenging. To validate our framework, we instantiate a highly distilled dataset of 6,000 trajectories called CLI-Universe-6K. Remarkably, fine-tuning Qwen3-32B on CLI-Universe-6K achieves 33.4% on Terminal-Bench 2.0. This sets a new state-of-the-art for models trained on open-source data at or below 32B parameters, and outperforms several models an order of magnitude larger, demonstrating the profound data efficiency of structured, high-fidelity synthesis.