CoAdapt-GUI: 새로운 GUI 애플리케이션에 대한 워크플로우 컨텍스트 및 정책 동시 적응

CoAdapt-GUI: Joint Workflow Context and Policy Adaptation for Unseen GUI Applications

모바일 GUI 에이전트는 학습 데이터에 포함되지 않은 애플리케이션에 배포될 때 여전히 취약합니다. 본 연구에서는 제한된 대상 애플리케이션과의 상호 작용 예산과 대상 애플리케이션 데모 없이 새로운 애플리케이션으로의 일반화 성능을 탐구합니다. 우리는 CoAdapt-GUI라는 테스트 시간 적응(TTA) 프레임워크를 소개하며, 이 프레임워크는 에이전트 자신의 대상 애플리케이션 실행 결과와 보상을 기반으로 구조화된 워크플로우 컨텍스트와 정책을 동시에 조정합니다. 워크플로우 컨텍스트는 전송 가능한 절차, 실패 모드 및 검증 규칙을 유지하면서 애플리케이션에 특유한 소스 정보를 제외합니다. 이러한 분리는 재사용 가능한 워크플로우 지식이 소스 인터페이스 상태를 전송하지 않고도 적응을 안내하도록 합니다. 정책 적응의 경우, 작업-컨텍스트 매칭 그룹 상대 최적화 방법을 사용하여 고정된 시각-언어 모델에 LoRA 어댑터를 업데이트합니다. 두 가지 새로운 애플리케이션 평가에서 CoAdapt-GUI는 AndroidWorld-Generalization에서 45.0%의 성능을 달성했으며, 이는 보고된 정책 기반 TTA 기준선인 37.5%보다 높습니다. 또한, AndroidWorld Plus 성능을 38.6%에서 52.9%로 향상시켰습니다. 이러한 결과는 전송 제약 조건이 있는 워크플로우 컨텍스트가 상당한 이점을 제공하며, 정책의 동시 적응이 추가적인 성능 향상을 가져온다는 것을 보여줍니다.

Mobile GUI agents remain brittle when deployed to applications absent from source training. We study novel-app generalization under a limited target interaction budget and without target demonstrations. We introduce CoAdapt-GUI, a test-time adaptation (TTA) framework that jointly adapts structured workflow context and policy from the agent's own target-app rollouts and rewards. The workflow context retains transferable procedures, failure modes, and verification rules while excluding app-bound source details. This separation allows reusable workflow knowledge to guide adaptation without transferring source-interface state. For policy adaptation, task-context-matched group-relative optimization updates a LoRA adapter on a frozen vision-language model. Across two unseen-app evaluations, CoAdapt-GUI reaches 45.0% on AndroidWorld-Generalization, compared with 37.5% for the reported Policy-Only TTA baseline, and raises AndroidWorld Plus performance from 38.6% to 52.9%. These results show that transfer-constrained workflow context provides substantial gains and that joint policy adaptation further improves held-out performance.