MobileExplorer: 온라인 탐색을 통한 모바일 GUI 에이전트의 온디바이스 추론 가속화

MobileExplorer: Accelerating On-Device Inference for Mobile GUI Agents via Online Exploration

모바일 그래픽 사용자 인터페이스(GUI) 에이전트는 AI 모델이 사용자를 대신하여 스마트폰을 자율적으로 운영할 수 있도록 합니다. 그러나 대부분 기존 시스템은 작업 정확도 최적화에 중점을 두고 있으며, 추론을 위해 클라우드 기반 모델을 활용하므로 개인 정보 보호 문제가 발생하고 네트워크 의존적인 지연 시간이 발생합니다. 따라서 모바일 GUI 에이전트의 완전한 온디바이스 배치는 아직 충분히 연구되지 않았습니다. 본 논문에서는 온라인 탐색을 통해 시각 기반 모바일 GUI 에이전트의 온디바이스 추론을 가속화하는 새로운 프레임워크인 MobileExplorer를 제안합니다. 핵심 아이디어는 시각-언어 모델(VLM)의 각 단계별 긴 추론 시간을 활용하여 UI 요소에 대한 경량화되고 병렬적인 탐색을 수행하는 것입니다. 모델 추론 과정에서 에이전트는 의미적으로 관련된 UI 요소를 능동적으로 검사하고, 이러한 탐색 기록을 구조화된 메모리로 저장합니다. 실제 모바일 환경에서의 안정적인 실행을 보장하기 위해, 빠르지만 비효율적인 백트래킹 전략이 실패할 경우 초기 UI 상태를 강력하게 복원하는 두 단계의 롤백 메커니즘을 설계했습니다. 수집된 탐색 기록은 간결한 맥락적 힌트로 요약되어 후속 추론 단계를 향상시키기 위해 프롬프트에 주입됩니다. 우리는 AndroidWorld 벤치마크뿐만 아니라 새로 설계된 더 복잡한 작업과 동적인 온디바이스 환경에서 다양한 상용 기기를 사용하여 MobileExplorer를 평가했습니다. MobileExplorer는 평균 추론 단계 수와 전체 지연 시간을 23% 줄이는 동시에, 작업 성공률을 유지하거나 최대 5%까지 향상시켰습니다. 실제 환경에서의 MobileExplorer 성능을 보여주는 동영상 데모는 https://youtu.be/thK7MJmdlvM 에서 확인할 수 있습니다.

Mobile graphical user interface (GUI) agents enable AI models to autonomously operate smartphones on behalf of users. However, most existing systems focus primarily on optimizing task accuracy and rely on cloud-hosted models for inference, which introduces privacy concerns and network-dependent latency. As a result, fully on-device deployment of mobile GUI agents remains underexplored. We propose MobileExplorer, a new framework that accelerates on-device inference for vision-based mobile GUI agents via online exploration. The key idea is to exploit the long per-step reasoning time of vision-language models (VLMs) by performing lightweight, parallel exploration of UI elements. During model inference, the agent proactively probes semantically relevant UI elements and records these exploration traces as structured memory. To ensure reliable execution in live mobile environments, we design a two-level rollback mechanism that robustly restores the initial UI state when a fast but naive backtracking strategy fails. The collected exploration traces are then summarized into concise contextual hints and injected into the prompt to enhance the subsequent reasoning step. We evaluate MobileExplorer on multiple off-the-shelf devices using the AndroidWorld benchmark, as well as newly designed, more complex tasks and dynamic on-device environments. MobileExplorer reduces the average number of reasoning steps and end-to-end latency by 23\%, while maintaining or improving task success rates by up to 5\%. A video demonstration of MobileExplorer performance in the real world is available at https://youtu.be/thK7MJmdlvM .