AppDeltaWorld: 전환 기반 델타 코드 세계 모델을 활용한 모바일 GUI 에이전트

AppDeltaWorld: Transition-Grounded Delta Code World Model for Mobile GUI Agents

모바일 GUI 에이전트는 픽셀 인식 및 터치 동작을 통해 앱을 제어할 수 있으며, 이는 장기적인 모바일 상호작용 정책을 수집하고 개선하는 데 유망한 인터페이스입니다. 그러나 민감한 앱이나 개인 정보 보호가 중요한 작업의 실제 데이터 확보는 어렵습니다. 동시에 기존 시뮬레이션 환경은 확장하는 데 비용이 많이 들고, GUI 세계 모델은 여전히 불안정한 생성, 제한적인 모달리티 지원, 일관성 없는 동작-전환 논리에 어려움을 겪습니다. 이러한 한계를 극복하기 위해, 우리는 다음 GUI를 제약 없이 이미지나 텍스트로 설명하는 대신, 도달 가능한 코드 업데이트로 예측하는 전환 기반 델타 코드 세계 모델인 AppDeltaWorld를 제안합니다. AppDeltaWorld는 동작-전환 제약을 만족하는 앱별 레벨 1 HTML 참조를 검색하고, 현재 화면, 동작, 예측된 다음 화면 텍스트 및 검색된 구조에 따라 레벨 2 실행 가능한 HTML을 생성하며, 브라우저 렌더링 전에 생성된 시각적 요소를 이미지 슬롯에 삽입합니다. 세계 모델로서, AppDeltaWorld는 Code2World 평가에서 CMGUIBench-500 데이터셋에서 가장 높은 충실도를 달성했으며, 이미지 기반 또는 코드 기반의 기존 방법보다 구조적인 레이아웃 및 UI 요소 재구성에 뚜렷한 장점을 보입니다. 학습 환경으로서, AppDeltaWorld는 필터링된 클로즈드 루프 SFT 데이터를 구축하며, 공개적인 지도 학습과 결합하여 AppDeltaAgent가 AndroidLens에서 최첨단 성능을 달성하고 MobileGym 및 MobileWorld에서 일관된 성능 향상을 보여줍니다. 또한, 세계 모델 기반의 테스트 시간 강화 학습은 정책 적응을 가능하게 하며, 실제 앱과의 추가 상호작용 없이도 더 나은 결과를 얻을 수 있습니다.

Mobile GUI agents can operate apps through pixel perception and touch actions, making them a promising interface for collecting and improving long-horizon mobile interaction policies. However, real trajectories are difficult to obtain for sensitive apps and privacy-critical operations. At the same time, existing simulated environments are costly to scale up, and GUI world models still suffer from unstable generation, limited modality coverage, and inconsistent action-transition logic. To address these limitations, we propose AppDeltaWorld, a transition-grounded delta code world model that predicts the next GUI as a reachable code update rather than as an unconstrained image or text description. AppDeltaWorld retrieves app-specific Level-1 HTML references under an action-transition constraint, generates Level-2 executable HTML conditioned on the current screen, action, predicted next-screen text, and retrieved structure, and inserts generated visual assets into image slots before browser rendering. As a world model, AppDeltaWorld achieves the highest fidelity on CMGUIBench-500 under Code2World evaluation, with clear gains in structural layout and UI element reconstruction over image-only and code-only baselines. As a training environment, AppDeltaWorld supports filtered closed-loop SFT data construction that, when combined with public supervision, enables AppDeltaAgent to achieve state-of-the-art performance on AndroidLens and consistent gains on MobileGym and MobileWorld. Moreover, world-model-based test-time reinforcement learning enables policy adaptation and shows further improvements without additional interaction with real apps.