에코버스(Echoverse): 대규모 컴퓨터 사용 에이전트 학습을 위한 심층적이고 진화하는 환경

Echoverse: Deep, Evolving Environments for Training Computer-Use Agents at Scale

컴퓨터 사용 에이전트는 자신의 행동으로 인해 발생하는 변화를 통해 학습하므로, 학습을 위해서는 에이전트가 상호 작용할 수 있는 애플리케이션이 필요합니다. 이러한 애플리케이션은 주로 로그인 인증을 요구하고 상태를 유지하며, 따라서 실제 환경 대신 합성된 환경이 사용됩니다. 최근에는 대량의 유사한 환경을 생성하는 파이프라인이 개발되었지만, 이제는 단순히 환경의 개수가 아니라 각 환경 내에 포함된 내용이 주요 병목 지점이 되었습니다. 저희는 이 연구에서 환경의 세 가지 중요한 특성이 성능 향상에 기여한다는 것을 발견했습니다. 첫째, 환경이 얼마나 다양한 행동 패턴을 제공하는지(행동 깊이), 둘째, 에이전트가 실제로 실패하는 특정 상호 작용을 목표로 하는지, 셋째, 모델과 함께 진화하여 개선되는지 여부입니다. 저희는 이러한 특성을 반영한 '에코버스'를 제안합니다. 에코버스는 사양을 기반으로 상태를 유지하는 애플리케이션을 생성하고, 애플리케이션 자체의 데이터베이스를 사용하여 작업의 성취도를 평가합니다. 또한, 에코버스는 모든 평가 결과를 두 번 활용합니다. 첫 번째는 환경, 작업 및 검증기의 개선을 위한 수단으로 사용되며, 두 번째는 모델 학습에 필요한 신호로 사용됩니다. 12개의 유사한 환경에서 학습된 90억 개의 파라미터를 가진 모델은 14가지 평가 기준으로 36.5%에서 67.1%로 성능이 향상되었으며, 이는 해당 모델을 학습시킨 훨씬 더 큰 규모의 모델과 거의 동등한 수준입니다. 저희는 각 특성이 어떻게 성능에 영향을 미치는지 자세히 분석했습니다. 동일한 환경에서, 표면적인 환경은 기존 모델보다 낮은 정확도를 보이지만(80.0% -> 75.0%), 심층적인 환경은 정확도를 향상시킵니다(80.0% -> 85.0% 및 48.0% -> 65.0%). 또한, 특정 인터페이스 컨트롤을 여러 방식으로 구현하는 것은 다른 위젯 패밀리와 웹 전체에 적용될 수 있습니다. 마지막으로, 단일 환경의 개선은 해당 환경에서 학습된 모델의 성능을 16.2%에서 38.5%로 향상시킵니다. 이러한 동일한 환경은 강화 학습 환경으로도 사용될 수 있으며, 애플리케이션 검증기와 단계별 평가 시스템을 결합하여 보상을 제공함으로써, 일반화 성능이 58.8%에서 68.0%로 향상됩니다. 저희는 네 개의 환경을 벤치마크 데이터셋으로 공개하며, 이와 함께 애플리케이션 코드, 초기 데이터 및 검증기 코드를 제공합니다. (코드: https://aka.ms/echoverse)

Computer-use agents learn from what their actions change, so training one needs applications it can act on, break and reset. The applications that matter most are login-gated and stateful, so synthetic environments stand in for them. Recent pipelines generate such environments in bulk, which moves the bottleneck from how many exist to what is inside each one. The returns, we find, come from three properties: how much behavioural depth an environment carries, whether it targets the interaction an agent actually fails, and whether it improves alongside the model. We present Echoverse, which compiles specifications into stateful applications whose tasks are graded against the application's own database, and a co-evolution loop that reads every graded rollout twice: as repairs to the environment, its tasks and its verifier, and as training signal for the model. Trained on twelve such environments, a 9B model improves from $36.5\%$ to $67.1\%$ across fourteen evaluation splits, within fourteen points of the much larger frontier model that taught it. We examine each property in turn. On the same domains, shallow environments push live-site accuracy below the base model ($80.0 \to 75.0$) while deep ones raise it ($80.0 \to 85.0$ and $48.0 \to 65.0$); drilling one interface control across many renderings transfers to held-out widget families and to the open web; and repairing a single environment lifts the model trained on it from $16.2\%$ to $38.5\%$. The same worlds serve as reinforcement-learning environments, where a reward combining the grounded verifier with a dense per-step judge raises held-out score from $58.8\%$ to $68.0\%$. We release four environments as a benchmark, with their applications, seed data and grounded graders. Code: https://aka.ms/echoverse