CUA-Gym: 컴퓨터 사용 에이전트를 위한 확장 가능한 검증된 학습 환경 및 작업

CUA-Gym: Scaling Verifiable Training Environments and Tasks for Computer-Use Agents

검증 가능한 보상을 활용한 강화 학습(RLVR)은 수학, 도구 사용, 소프트웨어 공학 등 다양한 분야에서 괄목할 만한 성과를 거두었지만, 컴퓨터 사용 에이전트(CUA)로의 확장에는 결정적인 보상을 갖는 확장 가능한 학습 데이터 부족이라는 문제가 있었습니다. CUA를 위한 이러한 데이터를 구축하려면 일관된 작업 지침, 실행 가능한 환경 및 검증 가능한 보상이 필요합니다. 그러나 수동으로 구성된 벤치마크는 높은 정확도를 제공하지만 적용 범위가 제한적이며, LLM 기반 데이터셋은 광범위하게 확장될 수 있지만 신뢰성 있는 검증이 어렵습니다. 본 논문에서는 작업 지침, 환경 상태 및 보상 함수를 동시에 생성하는 확장 가능한 파이프라인인 CUA-Gym을 제안합니다. 구체적으로, Generator 에이전트는 초기 및 이상적인 환경 상태를 구축하고, Discriminator 에이전트는 작업 사양에 따라 보상 함수를 작성합니다. Orchestrator 에이전트는 두 에이전트를 반복적인 실행 과정을 통해 연결합니다. 생성된 튜플은 LLM의 다수결 투표와 에이전트 시뮬레이션을 결합한 최종 필터를 거쳐 각 작업별 적대적 학습 루프를 넘어 품질을 보장합니다. 학습 환경 부족 문제를 해결하기 위해, 실제 소프트웨어 사용 분포를 기반으로 한 고품질 모의 웹 애플리케이션 모음인 CUA-Gym-Hub를 추가로 합성하여 CUA RLVR 데이터의 규모를 크게 확장했습니다. 이 파이프라인을 사용하여 110개의 환경에 기반한 32,112개의 검증된 RLVR 학습 튜플로 구성된 데이터셋인 CUA-Gym을 구축했습니다. CUA-Gym으로 GSPO를 사용하여 학습시킨 CUA-Gym-A3B와 CUA-Gym-A17B는 OSWorld-Verified에서 각각 62.1% 및 72.6%의 성능을 달성하여 유사한 규모의 기존 오픈 소스 CUA보다 우수한 성능을 보였으며, 데이터 양과 환경 다양성이 모두 증가함에 따라 성능이 안정적으로 향상되었습니다. 또한 동일한 모델은 별도의 WebArena 벤치마크에서도 개선된 성능을 보여주어 학습 환경을 넘어 일반화 능력이 있음을 나타냅니다. 우리는 전체 합성 파이프라인, 데이터셋, CUA-Gym-Hub 환경 및 모델을 공개할 예정입니다.

Reinforcement learning with verifiable rewards (RLVR) has driven breakthroughs in domains such as math, tool-use, and software engineering, yet its extension to computer-use agents (CUAs) has been bottlenecked by the scarcity of scalable training data with deterministic rewards. Constructing such data for CUAs requires consistent task instruction, executable environment, and verifiable reward. However, hand-curated benchmarks achieve high reward fidelity but cover few applications and LLM-as-judge-based datasets scale broadly but lack reliable verification. We present CUA-Gym, a scalable pipeline that co-generates task instructions, environment states, and reward functions. Concretely, a Generator agent constructs the initial and golden environment states, and a separate Discriminator agent writes the reward function from the task specification. An orchestrator agent drives the two through iterative rounds upon execution. Generated tuples then pass a final filter combining LLM majority voting and agent rollouts, ensuring quality beyond the per-task adversarial loop. To address the scarcity of training environments, we further synthesize CUA-Gym-Hub, a broad suite of high-fidelity mock web applications grounded in real-world software-use distributions, expanding the scale of CUA RLVR data by magnitude. Using this pipeline, we construct CUA-Gym, a dataset of 32,112 verified RLVR training tuples grounded in 110 environments. Trained with GSPO on CUA-Gym, our CUA-Gym-A3B and CUA-Gym-A17B achieve 62.1% and 72.6% on OSWorld-Verified, outperforming prior open-source CUAs at comparable scales, with performance scaling smoothly in both data volume and environment diversity. The same checkpoints also improve on the held-out WebArena benchmark, indicating transfer beyond the training environments. We will open-source the full synthesis pipeline, dataset, CUA-Gym-Hub environments, and models.