생성적 시각 코드 기반 모바일 월드 모델

Generative Visual Code Mobile World Models

모바일 그래픽 사용자 인터페이스(GUI) 월드 모델(WM)은 학습 및 추론 시 모바일 GUI 에이전트의 성능을 향상시키는 유망한 방법을 제공합니다. 그러나 현재 접근 방식은 중요한 상충 관계에 직면합니다. 텍스트 기반 WM은 시각적 충실도를 희생하는 반면, 시각적 WM은 정확한 텍스트 렌더링 능력 부족으로 인해 많은 외부 모델에 의존하는 느리고 복잡한 파이프라인을 필요로 합니다. 우리는 새로운 패러다임을 제안합니다. 렌더링 가능한 코드 생성을 통한 시각적 월드 모델링, 여기서 단일 비전-언어 모델(VLM)은 다음 GUI 상태를 직접 픽셀을 생성하는 대신, 픽셀로 렌더링되는 실행 가능한 웹 코드로 예측합니다. 이는 두 가지 접근 방식의 장점을 결합합니다. VLM은 정확한 텍스트 렌더링을 위한 언어적 사전 지식을 유지하는 동시에, 구조화된 웹 코드에 대한 사전 훈련을 통해 고충실도 시각적 생성이 가능합니다. 우리는 이 패러다임을 기반으로 구축된 최초의 공개 가중치 시각적 모바일 GUI WM인 gWorld (8B, 32B)를 소개하며, 코드 기반 학습 데이터를 자동으로 합성하는 데이터 생성 프레임워크(gWorld)도 함께 제공합니다. 4개의 일반 데이터셋 및 2개의 이상 데이터셋에 대한 광범위한 평가에서, gWorld는 정확도와 모델 크기 간의 새로운 패레토 최적점을 설정했으며, 50.25배 더 큰 8개의 최첨단 공개 가중치 모델보다 뛰어난 성능을 보였습니다. 추가 분석 결과, (1) gWorld를 통해 학습 데이터를 확장하면 의미 있는 성능 향상을 얻을 수 있고, (2) 파이프라인의 각 구성 요소가 데이터 품질을 향상시키며, (3) 강력한 월드 모델링이 다운스트림 모바일 GUI 정책 성능을 향상시키는 것으로 나타났습니다.

Mobile Graphical User Interface (GUI) World Models (WMs) offer a promising path for improving mobile GUI agent performance at train- and inference-time. However, current approaches face a critical trade-off: text-based WMs sacrifice visual fidelity, while the inability of visual WMs in precise text rendering led to their reliance on slow, complex pipelines dependent on numerous external models. We propose a novel paradigm: visual world modeling via renderable code generation, where a single Vision-Language Model (VLM) predicts the next GUI state as executable web code that renders to pixels, rather than generating pixels directly. This combines the strengths of both approaches: VLMs retain their linguistic priors for precise text rendering while their pre-training on structured web code enables high-fidelity visual generation. We introduce gWorld (8B, 32B), the first open-weight visual mobile GUI WMs built on this paradigm, along with a data generation framework (gWorld) that automatically synthesizes code-based training data. In extensive evaluation across 4 in- and 2 out-of-distribution benchmarks, gWorld sets a new pareto frontier in accuracy versus model size, outperforming 8 frontier open-weight models over 50.25x larger. Further analyses show that (1) scaling training data via gWorld yields meaningful gains, (2) each component of our pipeline improves data quality, and (3) stronger world modeling improves downstream mobile GUI policy performance.