MobileGym: 모바일 GUI 에이전트 연구를 위한 검증 가능하고 고성능 병렬 시뮬레이션 플랫폼

MobileGym: A Verifiable and Highly Parallel Simulation Platform for Mobile GUI Agent Research

본 논문에서는 MobileGym을 소개합니다. MobileGym은 웹 브라우저 기반으로 작동하며, 가볍고 완벽하게 제어 가능한 환경으로, 일상적인 모바일 사용을 목표로 합니다. 이는 독점 백엔드를 복제하지 않고도 상호 작용의 정확성을 높이는 데 중점을 둡니다. MobileGym은 기존 앱에서 구현하기 어려웠던 두 가지 기능을 제공합니다. 첫째, 구조화된 JSON 상태를 기반으로 하는 결정론적인 판단을 통해 검증 가능한 결과 신호를 제공하며, 둘째, 저렴한 비용으로 병렬 처리를 통해 확장 가능한 온라인 강화 학습(RL)을 지원합니다. 전체 환경 상태는 구조화된 JSON 형식으로 캡처, 구성, 포크 및 비교되며, 단일 서버가 약 400MB의 메모리로 수백 개의 병렬 인스턴스를 호스팅할 수 있으며, 초기 시작 시간은 약 3초입니다. 계층화된 상태 모델과 선언적인 작업 정의 프레임워크는 대규모 환경에서 상태 프로그래밍 및 작업 생성을 실용적으로 만듭니다. 또한, 단일 프로그래밍 방식의 판단 메커니즘을 통해 결정론적인 평가 결과와 풍부한 RL 보상을 동시에 제공합니다. 함께 제공되는 MobileGym-Bench에는 28개의 앱에 대한 416개의 매개변수화된 작업 템플릿(테스트 256개, 학습 160개)이 포함되어 있으며, 결정론적인 판단 기준과 구조화된 AnswerSheet 프로토콜을 사용하여 자유 텍스트 매칭 오류를 방지합니다. Sim-to-Real 사례 연구에서 GRPO 알고리즘은 Qwen3-VL-4B-Instruct 모델을 사용하여 256개 작업 테스트 세트에서 +12.8%의 성능 향상을 보였으며, 실제 장치 신호 하위 집합(59개의 작업)에서는 시뮬레이션 환경에서의 학습 이득 중 95.1%가 유지되었습니다. 프로젝트 페이지: https://mobilegym.github.io.

We present MobileGym, a browser-hosted, lightweight, fully controllable environment for everyday mobile use, targeting interaction fidelity without replicating proprietary backends. It enables two capabilities previously out of reach for everyday apps: verifiable outcome signals through deterministic state-based judging over structured JSON state, and scalable online RL through low-cost parallel rollouts. The full environment state is captured, configured, forked, and compared as structured JSON, and a single server can host hundreds of parallel instances, with about 400 MB memory per instance and about 3 s cold start. A layered state model and a declarative task-definition framework keep state programmability and task creation practical at scale, and a single programmatic judging mechanism delivers both deterministic evaluation verdicts and dense RL rewards. The accompanying MobileGym-Bench provides 416 parameterized task templates, including 256 test and 160 train templates, over 28 apps, with deterministic judges and a structured AnswerSheet protocol that avoids free-text matching failures. In a Sim-to-Real case study, GRPO on Qwen3-VL-4B-Instruct gains +12.8 percentage points on the 256-task test set, and on a 59-task real-device signal subset, real-device execution retains 95.1% of the simulation-side training gain. Project page: https://mobilegym.github.io.