도전을 통한 학습: 모바일 GUI 에이전트 훈련을 위한 적응형 난이도 인식 데이터 생성

Learning with Challenges: Adaptive Difficulty-Aware Data Generation for Mobile GUI Agent Training

대규모의 고품질 상호작용 궤적은 모바일 그래픽 사용자 인터페이스(GUI) 에이전트를 발전시키는 데 필수적입니다. 기존 방법들은 주로 노동 집약적인 인간의 시연이나 자동화된 모델 탐색에 의존하여 GUI 궤적을 생성하지만, 작업 난이도에 대한 세밀한 제어가 부족하다는 한계가 있습니다. 이는 훈련 난이도와 에이전트의 능력 간의 불일치로 인해 학습 효율성을 근본적으로 제한합니다. 인간이 점진적으로 어려워지는 과제를 통해 기술을 습득하는 방식에서 영감을 받아, 본 연구에서는 훈련 난이도를 GUI 에이전트의 능력 한계선(capability frontier)에 적응적으로 맞추는 새로운 데이터 생성 프레임워크인 MobileGen을 제안합니다. 구체적으로 MobileGen은 작업 난이도를 구조적 차원(예: 궤적 길이)과 의미론적 차원(예: 작업 목표)으로 명시적으로 분리합니다. 그 후 큐레이팅된 사전 데이터셋에서 에이전트를 반복적으로 평가하여 이 두 차원에 걸친 능력 한계선에 대한 체계적인 프로필을 구축합니다. 이 프로필을 바탕으로 작업 난이도의 확률 분포가 적응적으로 계산되며, 여기서 다음 훈련 라운드를 위한 목표 난이도가 추출됩니다. 추출된 난이도에 따라, 다중 에이전트 제어 가능 생성기를 사용하여 해당 작업 지침과 함께 고품질의 상호작용 궤적을 최종적으로 합성합니다. 광범위한 실험 결과, MobileGen은 여러 까다로운 벤치마크에서 GUI 에이전트의 평균 성능을 1.57배 향상시킴으로써 기존 데이터 생성 방법보다 일관되게 우수한 성능을 보임을 확인했습니다. 이는 효과적인 모바일 GUI 에이전트 훈련을 위해 에이전트 능력에 맞춘 데이터 생성의 중요성을 시사합니다.

Large-scale, high-quality interaction trajectories are essential for advancing mobile Graphical User Interface (GUI) agents. While existing methods typically rely on labor-intensive human demonstrations or automated model exploration to generate GUI trajectories, they lack fine-grained control over task difficulty. This fundamentally restricts learning effectiveness due to the mismatch between the training difficulty and the agent's capabilities. Inspired by how humans acquire skills through progressively challenging tasks, we propose MobileGen, a novel data generation framework that adaptively aligns training difficulty with the GUI agent's capability frontier. Specifically, MobileGen explicitly decouples task difficulty into structural (e.g., trajectory length) and semantic (e.g., task goal) dimensions. It then iteratively evaluates the agent on a curated prior dataset to construct a systematic profile of its capability frontier across these two dimensions. With this profile, the probability distribution of task difficulty is adaptively computed, from which the target difficulty for the next round of training can be sampled. Guided by the sampled difficulty, a multi-agent controllable generator is finally used to synthesize high-quality interaction trajectories along with corresponding task instructions. Extensive experiments show that MobileGen consistently outperforms existing data generation methods by improving the average performance of GUI agents by 1.57 times across multiple challenging benchmarks. This highlights the importance of capability-aligned data generation for effective mobile GUI agent training.