안전하고 신뢰할 수 있는 모바일 GUI 에이전트: 가이드된 어드밴티지 추정기를 활용한 접근 방식

Faithful Mobile GUI Agents with Guided Advantage Estimator

비전-언어 모델 기반의 그래픽 사용자 인터페이스(GUI) 에이전트는 강력한 상호작용 능력을 보여주었습니다. 그러나 이러한 에이전트들은 종종 신뢰성이 떨어지는 행동을 보이며, 화면에 표시된 증거나 사용자 지시에 기반한 행동을 수행하는 대신 암기된 지름길에 의존하는 경향이 있습니다. 이러한 문제를 해결하기 위해, 우리는 신뢰성을 최우선으로 하는 프레임워크인 Faithful-Agent를 제안합니다. Faithful-Agent는 GUI 상호작용을 재구성하여 증거 기반의 행동과 내부 일관성을 우선시합니다. Faithful-Agent는 두 단계의 파이프라인을 사용합니다: (i) 증거 기반의 행동을 장려하고, 증거의 변화에 따른 회피 행동을 학습시키는 신뢰성 중심의 SFT(Supervised Fine-Tuning) 단계; (ii) GRPO(Generalized Reinforcement Learning for Off-Policy Optimization)를 기반으로 구축된 앵커 기반의 변동 적응 어드밴티지 템퍼링 메커니즘인 가이드된 어드밴티지 추정기(GuAE)를 도입하여 신뢰성을 더욱 강화하는 RFT(Reinforcement Fine-Tuning) 단계. GuAE는 희소한 GUI 보상이 주어지는 환경에서 낮은 변동성을 가진 그룹에서 어드밴티지 붕괴를 방지합니다. 또한, 사고-행동 일관성 보상을 통해 Faithful-Agent (2단계)는 Trap 성공률을 기준 모델 대비 13.88%에서 80.21%로 향상시켰으며, 일반적인 지시 수행 능력은 그대로 유지했습니다.

Vision-language model based graphical user interface (GUI) agents have shown strong interaction capabilities. However, they often behave unfaithfully, relying on memorized shortcuts rather than grounding actions in displayed screen evidence or user instructions. To address this, we propose Faithful-Agent, a faithfulness-first framework that reformulates GUI interaction to prioritize evidence groundedness and internal consistency. Faithful-Agent employs a two-stage pipeline: (i) a faithfulness-oriented SFT stage to instill abstainment behaviors under evidence perturbations; (ii) an RFT stage that further amplifies faithfulness by introducing the guided advantage estimator (GuAE), an anchor-based and variance-adaptive advantage tempering mechanism built upon GRPO. GuAE prevents advantage collapse in low-variance rollout groups under sparse GUI rewards, and with a thought-action consistency reward, Faithful-Agent (Stage II) elevates the Trap SR from 13.88\% to 80.21\% relative to the baseline, while preserving robust general instruction-following performance.