SETA: 터미널 에이전트를 위한 확장 가능한 환경

SETA: Scaling Environments for Terminal Agents

대규모 언어 모델(LLM)은 웹 및 그래픽 사용자 인터페이스(GUI)를 포함한 다양한 인터페이스를 통해 작업을 수행하는 에이전트 형태로 빠르게 진화하고 있습니다. 이러한 인터페이스 중에서 터미널 명령줄은 시스템 운영부터 데이터 과학 및 머신러닝에 이르는 광범위한 작업을 다루는 텍스트 기반의 범용 인터페이스를 제공합니다. 그러나 터미널 에이전트 학습을 확장하는 것은 여전히 어려운 과제이며, 이는 다양한 작업 지침, 실행 가능한 환경, 신뢰할 수 있는 검증 시스템과 함께 자연스러운 지도 데이터의 부족으로 인해 발생합니다. 본 연구에서는 강화 학습(RL)을 위한 검증 가능한 터미널 환경을 생성하는 확장 가능한 프레임워크인 SETA를 제안합니다. 이 프레임워크는 통일된 검증 메커니즘을 공유하는 두 가지 파이프라인으로 구성됩니다. SETA-Synth는 다양한 소스를 표준화된 RL 환경으로 변환하고, SETA-Evol은 기존 환경에서 적응적인 난이도 및 다양성 제어를 통해 확장합니다. 우리는 이 프레임워크를 사용하여 현재까지 가장 큰 오픈 소스 검증 가능한 터미널 RL 데이터셋인 SETA-Env를 구축하고 공개했으며, 여기에는 4,500개 이상의 환경이 포함되어 있습니다. 우리는 Qwen3-8B 모델을 GRPO 알고리즘으로 SETA-Env에서 학습시켜 Terminal-Bench 2.0에서 12%의 성공률을 달성했으며, 이는 8B 규모의 RL 학습 모델 중 가장 높은 결과입니다. 또한 동일한 터미널 에이전트 하드웨어에서 DeepSeek-V4-Flash 모델을 평가했을 때, Terminal-Bench 2.0에서의 pass@1 성능은 40%에서 43%로, pass@5 성능은 54%에서 58%로 향상되었습니다. 이러한 결과는 SETA-Env가 터미널 에이전트를 위한 고품질 학습 환경을 제공하며, 터미널 기반 에이전트 학습 연구를 발전시키는 데 귀중한 자원이 될 수 있음을 보여줍니다.

Large language models (LLMs) are rapidly shifting toward agents that solve tasks through diverse interfaces, including web and graphical user interfaces (GUIs). Among these, the terminal command line provides a text-based, general-purpose interface, covering tasks from system operations to data science and machine learning. However, scaling terminal-agent training remains challenging, as it requires diverse and coherent task instructions, executable environments, and reliable verification, while lacking naturally grounded supervision data. In this work, we propose SETA, a scalable framework for generating verifiable terminal environments for reinforcement learning (RL). The framework consists of two pipelines sharing a unified verification mechanism: SETA-Synth converts diverse sources into standardized RL environments, and SETA-Evol further expands from existing environments with adaptive control of difficulty and diversity. Together, we construct and release SETA-Env, the largest open-source verifiable terminal RL dataset to date, containing over 4,500 environments. We evaluate our dataset by training Qwen3-8B with GRPO on SETA-Env, achieving 12% pass rate on Terminal-Bench 2.0, the best reported result for an RL-trained model at the 8B scale. We further observe gains on DeepSeek-V4-Flash under the same terminal agent harness, with pass@1 on Terminal-Bench 2.0 improving from 40% to 43% and pass@5 improving from 54% to 58%. These results demonstrate that SETA- Env provides high-quality training environments for terminal agents and serves as a valuable resource for advancing research on terminal-based agent learning.