장기 목표 달성을 위한 재귀적 합성 방법

Recursive Synthesis for Long-Horizon Terminal Tasks

터미널 에이전트(terminal agent)를 위한 고품질의 장기 학습 데이터는 제작 비용이 매우 많이 들며, 종종 하나의 작업에 수백에서 수천 달러까지 소요됩니다. 이는 각 작업에서 지시 사항, 환경, 참조 솔루션 및 검증기가 서로 일관성을 유지해야 하기 때문입니다. 인간 작성이라는 방법으로는 확장하기 어렵고, 대규모 언어 모델(LLM)을 직접 사용하여 생성하는 경우 종종 이러한 상호 의존성이 깨지는 문제가 발생합니다. 본 논문에서는 Recursive Synthetic Terminal Tasks (RST)라는 재귀적 검증 합성 프레임워크를 제안하여, 대규모로 장기 터미널 에이전트 작업을 구축합니다. RST는 검증된 초기 작업(seed task)에서 시작하여, 참조 솔루션을 확장하고, 새로운 워크플로우에 맞게 검증기와 지시 사항을 재정렬하며, 신규 샌드박스 환경에서 결과를 검증하고, 승인된 작업을 후속 단계의 초기 작업으로 재사용합니다. 15회의 재귀 과정을 거쳐 RST는 총 37,484개의 합성 터미널 에이전트 작업을 생성했으며, 작업당 약 0.05달러의 비용으로 제작되었습니다. 작업 난이도는 회차가 진행됨에 따라 크게 증가했습니다. 중간 참조 솔루션 코드 줄 수는 67줄에서 374줄로 늘어났고, 실행 명령어 수는 40개에서 244개로 증가했으며, DeepSeek-V4-Pro 모델의 pass@4 성능은 $R_1$ 단계에서는 90%였지만 $R_{15}$ 단계에서는 2.5%로 감소했습니다. 학습 유용성을 입증하기 위해, RST를 통해 생성된 작업에 대해 rejection sampling을 적용한 Qwen3.5의 실행 경로(trajectory) 데이터를 수집하고 이를 사용하여 지도 학습(supervised fine-tuning)을 수행했습니다. 이러한 방식으로 미세 조정된 결과, Qwen3.5-27B 및 Qwen3.5-122B-A10B 모델은 Terminal-Bench~2, Terminal-Bench Hard 및 Long-Horizon Terminal Bench 벤치마크에서 최대 10점의 성능 향상을 보였습니다. 또한, agentic PPO 알고리즘을 적용한 결과, Qwen3.5-27B 모델은 세 가지 벤치마크에서 각각 49.44%, 32.00% 및 22.07%의 성능을 달성하여, 기본 모델 대비 상대적으로 20.0%, 41.2% 및 21.9%의 성능 향상을 보였습니다. 더욱이, 15회 반복 후에도 재귀 과정은 더 이상 정체되지 않으며, 난이도가 계속 증가함에도 불구하고 합성 수율과 검증률은 안정적으로 유지됩니다. 이는 이 프로세스가 보고된 규모를 훨씬 넘어 지속될 수 있음을 시사합니다.

High-quality long-horizon training data for terminal agents is expensive to produce, often costing hundreds to thousands of dollars per task, because each task must keep the instruction, environment, reference solution, and verifier mutually consistent. Human authoring does not scale, and direct generation with large language models (LLMs) often breaks these dependencies. We present Recursive Synthetic Terminal Tasks (RST), a recursive verified synthesis framework for constructing long-horizon terminal-agent tasks at scale. Starting from verified seed tasks, RST extends the reference solution, realigns the verifier and instruction to the new workflow, validates the result in a fresh sandbox, and reuses accepted tasks as seeds for subsequent rounds. Across fifteen recursive rounds, RST produces 37,484 synthesized terminal-agent tasks at roughly $0.05 per task. Task difficulty increases substantially over rounds: the median reference solution grows from 67 to 374 lines, the median number of executed commands grows from 40 to 244, and DeepSeek-V4-Pro pass@4 drops from 90% at R1 to 2.5% at R15. To demonstrate training utility, we collect rejection-sampled Qwen3.5 trajectories on the synthesized tasks and use them for supervised fine-tuning. Fine-tuning on these trajectories improves Qwen3.5-27B and Qwen3.5-122B-A10B by up to 10 points on Terminal-Bench 2, Terminal-Bench Hard, and Long-Horizon Terminal Bench, while agentic PPO lifts Qwen3.5-27B to 49.44%, 32.00%, and 22.07% on the three benchmarks, corresponding to relative gains of 20.0%, 41.2%, and 21.9% over the base model. Moreover, after 15 rounds, the recursion shows no ceiling: synthesis yield and validation rates remain stable as difficulty keeps climbing, indicating that the process can continue well beyond the scale reported here.