에이전트 기반 스마트폰 사용을 위한 오픈 모델 학습

Training Open Models for Agentic Phone Use

스마트폰은 범용 에이전트의 중요한 실행 플랫폼으로 자리 잡고 있지만, 실제 스마트폰 환경에서 안정적인 성능을 보이는 오픈 모델을 학습하는 것은 여전히 어렵습니다. 그 이유는 실제 배포 환경인 실제 기기에서 실행되는 애플리케이션 환경이 느리고, 상태에 민감하며, 부작용을 일으키기 쉽고, 재설정하거나 검증하기 어렵기 때문입니다. 반면 확장 가능한 시뮬레이션 환경은 실제 동작을 제대로 반영하지 못합니다. 본 논문에서는 에이전트 기반 스마트폰 사용을 위한 학습 방법과 오픈 모델인 PhoneBuddy를 제시합니다. PhoneBuddy는 실제 애플리케이션 환경과, 실제 GUI(Graphical User Interface) 구조를 재구성하여 실행 가능한 시뮬레이션 애플리케이션 환경인 PhoneWorld를 결합합니다. 먼저 PhoneBuddy는 두 환경에서 수집된 데이터를 기반으로 공유된 지도 학습 단계를 구축한 후, 실제 애플리케이션 환경에서의 강화 학습과 두 환경을 혼합한 강화 학습 결과를 비교합니다. 실제 스마트폰에서 150개의 다양한 작업(앱, 미니 앱, 앱 간 워크플로우 포함)에 대한 인간 평가 결과, 지도 학습 후의 성공률은 36.67%였으며, 실제 애플리케이션 환경에서의 강화 학습 후에는 40.67%, 혼합 강화 학습 후에는 45.33%로 향상되었습니다. AndroidWorld 시뮬레이션 환경에서도 동일한 경향을 보이며, 성공률이 60.3%에서 77.2%로, 다시 83.2%로 증가했습니다. 이러한 결과는 시뮬레이션 애플리케이션 학습이 실제 애플리케이션 강화 학습을 대체할 수 없지만, 확장 가능하고 재설정 가능하며 자동으로 검증되는 상호 작용의 보완적인 역할을 수행한다는 것을 보여줍니다. 특히 앱 및 미니 앱 작업에서 성능 향상이 두드러지며, 복잡한 앱 간 워크플로우는 여전히 중요한 연구 과제입니다.

Phones are becoming an important execution surface for general-purpose agents, but training open models for reliable phone use remains difficult because the environment that matters at deployment, real devices running real apps, is slow, stateful, side-effectful, and hard to reset or verify, while scalable mock environments only approximate real behavior. We present PhoneBuddy, a training recipe and open-model line for agentic phone use that combines a real-app environment with a mock-app environment, PhoneWorld, which reconstructs runnable mock apps from real GUI usage structure. PhoneBuddy first builds a shared supervised fine-tuning stage from trajectories collected in both environments, then compares real-app RL against mixed RL across both environments. Across a 150-task human evaluation on real phones spanning apps, mini-apps, and cross-app workflows, task success rate improves from 36.67\% after supervised fine-tuning to 40.67\% after real-app RL and 45.33\% after mixed RL. On AndroidWorld, the same progression rises from 60.3\% to 77.2\% to 83.2\%. These results show that mock-app training is not a replacement for real-app RL, but a complementary source of scalable, resettable, and automatically checked interaction. The gains are strongest on app and mini-app tasks, while long-horizontal cross-app workflows remain an important open challenge.