올바른 교사를 믿으세요: 품질 인지 자기 증류를 통한 GUI 지칭

Trust the Right Teacher: Quality-Aware Self-Distillation for GUI Grounding

그래픽 사용자 인터페이스(GUI) 지칭은 시각-언어 모델(VLM)이 고해상도 스크린샷에서 작은 대상 요소를 식별하고 정확한 화면 좌표를 예측해야 하는 작업입니다. 온-정책 자기 증류(OPSD)는 좌표 민감성이 높은 이 작업에 대한 유망한 후처리 방법으로, 단순히 하드한 좌표 레이블 외에도 풍부한 토큰 수준의 교사 신호를 제공합니다. 그러나 일반적인 OPSD는 GUI 지칭에 적합하지 않습니다. OPSD는 학생이 생성한 접두사를 기반으로 교사를 평가하는데, 이때 접두어가 대상 좌표에서 벗어난 경우 좌표-토큰 교사 신호의 품질이 저하되어 신뢰할 수 없는 교사 신호가 발생할 수 있습니다. 이를 해결하기 위해, 저희는 VLM 기반 GUI 지칭을 위한 품질 인지 자기 증류를 제안합니다. 이 방법은 소프트한 정확성 인식 게이팅과 교사 확률 스케일링을 통해 좌표-토큰 교사 신호의 품질을 향상시킵니다. 소프트한 정확성 인식 게이트는 교사의 현재 좌표-토큰 예측이 학생이 생성한 접두어 하에서 실제 지칭 상자에 완전히 포함될 수 있는지 여부를 확인하며, 그렇지 않은 경우 해당 교사 신호의 가중치를 낮춥니다. 또한, 교사 확률 스케일링은 교사의 확신도를 경량 요인으로 사용하여 게이트된 감독 신호의 강도를 추가적으로 조정합니다. 중요한 실험 결과는 두 가지 구성 요소 중 어느 하나만으로는 전체 성능을 향상시키지 못하지만, 결합하면 일관되게 성능이 향상된다는 것입니다. 이는 두 메커니즘이 상호 보완적인 역할을 한다는 것을 시사합니다. 즉, 정확성 인식 게이팅은 신뢰할 수 없는 좌표-토큰 감독을 억제하는 반면, 교사 확률 스케일링은 나머지 신호의 강도를 조정합니다. 여섯 가지 GUI 지칭 벤치마크에 대한 실험 결과, 제안된 방법은 기본 모델의 성능을 꾸준히 향상시키고 강력한 기준 모델보다 우수한 성능을 보였습니다.

Graphical user interface (GUI) grounding requires vision-language models (VLMs) to identify small target elements in high-resolution screenshots and predict precise screen coordinates. On-policy self-distillation (OPSD) is a promising post-training approach for this coordinate-sensitive task, since it provides dense token-level teacher signals beyond hard coordinate labels. However, naive OPSD is not well suited to GUI grounding: OPSD evaluates the teacher on student-generated prefixes, the quality of coordinate-token teacher signals can degrade when the prefix has already deviated from the target coordinate, leading to unreliable teacher signal. To mitigate this, We propose quality-aware self-distillation for VLM-based GUI grounding, which improves coordinate-token teacher-signal quality through soft correctness-aware gating and teacher-probability scaling. The soft correctness-aware gate checks whether the teacher's current coordinate-token prediction can still be completed into the ground-truth box under the student-generated prefix. If not, the corresponding teacher signal is down-weighted. Teacher-probability scaling then uses the teacher's confidence as a lightweight factor to further calibrate the strength of the gated supervision. A key empirical finding is that neither component alone improves overall performance, whereas combining them consistently improves performance. This suggests that the two mechanisms play complementary roles: correctness-aware gating suppresses unreliable coordinate-token supervision, while teacher-probability scaling calibrates the strength of the remaining signals. Experiments across six GUI grounding benchmarks show that our method consistently improves the base model and outperforms strong baselines.