시각적 상태 전이(Visual State Transitions)를 활용한 GUI 에이전트 확장

Scaling GUI Agents with Visual State Transitions

본 논문에서는 GUI 에이전트의 성능 향상을 위한 새로운 방법론인 '상태 전이 사전 학습(State Transition Pretraining, STP)'을 제안합니다. STP 단계에서, 우리는 역동역학(상태 변화로부터 행동 예측)과 순방향 동역학(현재 상태와 행동으로부터 다음 상태 예측)을 동시에 최적화하며, 통합된 다중 모달 모델을 시각적 상태 전이에 대해 지속적으로 사전 학습시킵니다. 이러한 최적화 과정을 통해 모델은 더욱 정확한 행동 기반 시각 표현과 GUI 역학의 내부 세계 모델을 갖추게 됩니다. 이후 작업 지침이 포함된 경로를 사용하여 미세 조정(fine-tuning)을 수행했을 때, STP로 사전 학습된 모델들은 데스크톱 및 모바일 GUI 환경 모두에서 벤치마크 테스트(AgentNetBench, AndroidControl, GUIOdyssey)에서 기존의 직접적인 경로 미세 조지만으로 학습된 모델들을 꾸준히 능가하는 성능을 보였습니다. 추가적인 실험 결과는 공동 동역학 최적화가 단일 목적 함수 기반 학습보다 안정적인 성능 향상을 가져오며, 다운스트림 성능은 전이 데이터의 양에 따라 꾸준히 증가한다는 것을 보여줍니다.

We introduce State Transition Pretraining (STP) as a new scaling axis for GUI agents. During the STP stage, we continually pretrain a unified multimodal model on visual state transitions by jointly optimizing inverse dynamics (predicting actions from state changes) and forward dynamics (predicting next states from current states and actions). This optimization equips the model with better action-grounded visual representations and an internal world model of GUI dynamics. When subsequently fine-tuned on trajectories with task instructions, our STP-trained models consistently outperform baselines trained solely via direct trajectory fine-tuning across agent benchmarks in both desktop and mobile GUI scenarios (AgentNetBench, AndroidControl, and GUIOdyssey). Further empirical studies show that joint dynamics optimization yields stable improvements over single-objective training, and downstream performance scales steadily with the volume of transition data.