자기 지도 시각적 온 정책 증류 (Self-Supervised Visual On-Policy Distillation)

Self-Supervised Visual On-Policy Distillation

시각적 온 정책 증류는 일반적으로 더 크고 강력한 교사 모델 또는 참조 정답이나 관심 영역과 같은 특권적인 감독 정보를 활용하여 교사와 학생 간의 정보 불균형을 중요하게 의존합니다. 이는 다음과 같은 근본적인 질문을 제기합니다: 특권적인 정보가 없을 때 이러한 정보 불균형은 어디에서 비롯될 수 있는가? 우리는 이 질문에 대해, 정보 불균형이 어디에서 발생하는지를 역으로 생각함으로써 답을 제시합니다. 교사 모델에 특권 정보를 추가하는 대신, 학생 모델로부터 정보를 제거하여 정보 불균형을 만듭니다. 이렇게 생성된 정보 불균형은 학생 모델이 접근할 수 없는 정보에 접근할 수 있는 교사 모델과 동일한 효과적인 학습 신호를 무료로 제공하며, 이는 지상 진리(ground-truth) 주석, 보상 또는 별도의 강력한 교사 모델 없이도 가능합니다. 이러한 원리를 바탕으로 우리는 자기 지도 시각적 온 정책 증류 (S$^2$VOPD)라는 간단하면서도 효과적인 방법을 제안합니다. S$^2$VOPD는 비대칭 증강된 뷰로부터 온 정책 학습 신호를 생성합니다. 구체적으로, S$^2$VOPD는 원래 이미지에 대한 교사 모델의 분포를 학생 모델이 동일한 이미지의 강하게 증강된 뷰에 기반하여 갖게 하는 방식으로 증류합니다. 우리는 다양한 시각적 증강 기법을 체계적으로 탐색하고 다음과 같은 사실을 발견했습니다: (1) 비대칭성이 중요하며, 모든 네 가지 증강 계열은 성능 향상에 기여하는 반면, 대칭적인 자기 증류는 성능 저하를 유발합니다; (2) 증강 강도가 중요하며, 성능은 중간 정도의 강도에서 최고조에 달합니다; 그리고 (3) 불균형은 작업과 일관성을 유지해야 하며, 질문과 관련된 중요한 정보를 완전히 제거하는 증강 기법은 큰 차이를 만들 수 있지만, 유용한 정보는 제공하지 못할 수 있습니다. 우리는 6가지 세밀한 인지(fine-grained perception) 벤치마크에서 S$^2$VOPD를 사용하여 Qwen3.5-4B 모델의 성능을 70.7%에서 77.4%로 향상시켰습니다. 이는 다른 공개 모델, 심지어 235B 파라미터의 Qwen3-VL 모델보다 우수한 성능이며, GPT-5.4를 능가합니다. 동일한 학습 데이터를 사용하면서도 S$^2$VOPD는 특권 정보를 사용하는 방법으로 달성된 성능 향상의 96%를 회복합니다. 관련 웹사이트 주소는 https://williamium3000.github.io/s2vopd 입니다.

Visual on-policy distillation relies heavily on an informative teacher-student asymmetry, through either a larger, stronger teacher or privileged supervision, such as reference answers or ground-truth regions of interest. This raises a fundamental question: where can informative asymmetry come from when nothing privileged is available? We answer this by inverting where the asymmetry comes from. Rather than adding privileged information to the teacher, we subtract information from the student. This asymmetry creates the same effective learning signal for free as a teacher with access to information unavailable to the student, without ground-truth annotations, rewards, or a separate stronger teacher model. Building on this principle, we introduce Self-Supervised Visual On-Policy Distillation (S$^2$VOPD), a simple yet effective method that constructs on-policy learning signals from asymmetric augmented views. S$^2$VOPD distills the teacher's distribution conditioned on the original image on-policy into the student distribution conditioned on a strongly augmented view of the same image. We systematically explore a broad design space of visual augmentations and uncover that (1) asymmetry matters: all four augmentation families improve performance, while symmetric self-distillation degrades it; (2) strength matters: performance peaks at a moderate strength; and (3) the gap must remain task-consistent: augmentations that completely remove the question-relevant evidence can induce large but uninformative discrepancies. Across six fine-grained perception benchmarks, S$^2$VOPD improves Qwen3.5-4B from 70.7% to 77.4%, above all open-source models compared, up to Qwen3-VL at 235B, and surpasses GPT-5.4. While holding training data the same, it recovers 96% of the improvement achieved by methods with privileged information. Website is at https://williamium3000.github.io/s2vopd