GUI 에이전트를 위한 기술 기반 연속 증류

Skill-Guided Continuation Distillation for GUI Agents

GUI 에이전트의 성능 향상은 일반적으로 전문가 경로에 대한 행동 복제를 통해 이루어집니다. 그러나 현재 정책이 전문가 정책에서 벗어나면, 폐루프 실행 과정에서 필연적으로 정책으로 인해 발생하는 오프-트랙 상태에 직면하게 됩니다. 이러한 상태는 전문가 경로에는 포함되지 않으므로, 전문가 경로가 제공하는 데모레이션 없이 효과적인 지도를 받지 못하여 정책은 올바른 행동을 선택할 수 없게 됩니다. 이러한 지도 격차를 해소하기 위해 우리는 기술 기반 연속 증류(SGCD)라는 반복적인 자기 개선 프레임워크를 제안합니다. SGCD는 먼저 기술 지도가 없는 기본 정책을 몇 단계 실행하여 현실적인 오프-트랙 상태에 도달하도록 합니다. 그런 다음, 기술 지도를 받은 정책은 이러한 상태에서 작업을 완료하고 성공적인 연속 동작을 생성하며, 이는 전문가 경로와 혼합되어 정책으로 인해 발생하는 오프-트랙 상태에 대한 지도를 제공합니다. 여기에는 연속 계획, 중요한 목표, 실패 함정 및 성공 기준이 포함된 기술들이 성공 및 실패 시뮬레이션 모두에서 추출됩니다. OSWorld-Verified 환경에서 SGCD는 세 가지 기본 모델의 성공률을 30%대의 낮은 수준에서 50% 이상으로 향상시켜 그 효과와 일반성을 입증합니다.

Improving GUI agents typically relies on behavior cloning on expert trajectories. However, as the current policy deviates from the expert policy, it inevitably encounters policy-induced off-trajectory states during closed-loop execution, i.e., states that fall outside the expert trajectories. Since expert trajectories provide no demonstrations for these unseen states, such states receive no effective supervision, leaving the policy unable to select the correct action. To close this supervision gap, we propose Skill-Guided Continuation Distillation (SGCD), an iterative self-improvement framework. SGCD first runs the plain policy without skill guidance for a few steps to reach realistic off-trajectory states. From these states, a skill-guided policy then completes the task and produces successful continuations, which are mixed with expert trajectories to supply supervision over policy-induced off-trajectory states. The skills are extracted from both successful and failed rollouts, consisting of Continuation Plans, Critical Targets, Failure Traps, and Success Criteria. On OSWorld-Verified, SGCD improves the success rate of three base models from the low-30\% range to over 50\%, demonstrating its effectiveness and generality.