ENVS: 환경에 내재된 검증 검색을 통한 장기적인 GUI 에이전트 제어

ENVS: Environment-Native Verified Search for Long-Horizon GUI Agents

다양한 형태의 에이전트가 인터페이스 이해 단계를 넘어 실제 소프트웨어 제어로 발전함에 따라, 실시간 데스크톱 환경에서의 성공적인 경로 탐색은 핵심 과제로 부상하고 있습니다. GUI 작업은 정밀한 마우스 및 키보드 동작 시퀀스를 필요로 하며, 가상 머신(VM)을 통해 얻는 피드백은 희소하고, 지연되며, 비용이 많이 듭니다. 본 논문에서는 Environment-Native Verified Search (ENVS)라는 방법을 제안합니다. ENVS는 정책 최적화 전에 환경을 활용하여 검증된 감독 신호를 구축하는 학습 시간 검색 및 필터링 파이프라인입니다. ENVS는 실시간 OSWorld VM에서 행동적으로 구별되는 GUI 액션에 대해 분기하고, 성공적인 결과를 확인하며, 전역적으로 균형 잡힌 단계 수준의 감독 신호로 학습합니다. 실제 데스크톱 환경에서의 예상치 못한 중단에 대한 견고성을 평가하기 위해, 원래 작업을 유지하면서 에이전트가 집중력을 회복하거나, 무시하거나, 대기하거나 복구할 수 있는지 테스트하는 동적 벤치마크인 OSWorld-Noisy를 소개합니다. 300개의 작업으로 구성된 OSWorld 데이터셋에서 ENVS는 원래 평가에서 30.3의 pass@8 성능을 달성하고, OSWorld-Noisy에서는 29.0의 pass@8 성능을 달성했습니다. 이는 동일한 ARPO 스타일의 온라인 강화 학습 알고리즘보다 우수한 성능이며, GPU 사용 시간을 184-192시간에서 138-153시간으로 줄였습니다. 심지어 ENVS는 검색 데이터의 30%만을 사용하여 27.0의 pass@8 성능을 달성했으며, 이는 기본 모델의 ARPO보다 높은 수치입니다. 노이즈가 있는 환경에서의 학습은 또한 OSWorld-G Refusal (16.7 vs. 1.9) 및 BLINK Functional Correspondence (26.2 vs. 23.1)와 같은 보조 벤치마크에서 시각적 추론 능력을 더 잘 유지합니다.

As multimodal agents move from interface understanding to real software control, successful trajectory discovery in live desktop environments becomes a key challenge. GUI tasks require long-horizon sequences of precise mouse and keyboard actions, while feedback is sparse, delayed, and costly to obtain through VM rollouts. We propose Environment-Native Verified Search (ENVS), a training-time search-and-filter pipeline that uses the environment to construct verified supervision before policy optimization: it branches over behaviorally distinct GUI actions in live OSWorld VMs, verifies successful leaves, and trains from globally balanced step-level supervision. To evaluate robustness under realistic desktop interruptions, we also introduce OSWorld-Noisy, a dynamic benchmark for recoverable desktop interruptions that preserves the original tasks while testing whether agents can refocus, dismiss, wait, or recover under live perturbations. On the 300-task OSWorld pool, ENVS reaches 30.3 pass@8 on original evaluations and 29.0 on OSWorld-Noisy, outperforming matched ARPO-style online RL while reducing compute from 184-192 to 138-153 GPU-hours; even with only 30% of its search data, ENVS reaches 27.0 pass@8, exceeding ARPO from the base model. Training from noisy environments also better preserves visual-reasoning abilities on auxiliary benchmarks, including OSWorld-G Refusal (16.7 vs. 1.9) and BLINK Functional Correspondence (26.2 vs. 23.1).