시각적 대비 자기 증류 (Visual Contrastive Self-Distillation)

Visual Contrastive Self-Distillation

온라인 정책 기반 자기 증류(OPSD)는 외부 교사 모델이 필요 없는 온라인 증류(OPD)의 장점을 가지지만, 교사와 학생 간의 비대칭 정보를 유지하여 자기 교사가 학생보다 더 강력한 학습 신호를 제공하도록 해야 합니다. 기존 방법들은 이러한 비대칭성을 특권 정보 또는 시각적 증거를 통해 만들어냅니다. 본 논문에서는 특권 정보와 시각적 증거 모두 없이, 입력 조건에만 의존하는 더욱 단순한 형태의 OPSD가 가능한지 탐구합니다. 이를 위해 우리는 이미지 내용 제거를 온라인 자기 증류 신호로 활용하는 방법인 시각적 대비 자기 증류(VCSD)를 제안합니다. 각 학생 모델이 생성한 응답 프롬프트에 대해, EMA 교사 모델은 동일한 프롬프트와 접두사를 사용하여 두 개의 다음 토큰 분포를 생성합니다. 하나는 원래 이미지를 조건으로 사용하고 다른 하나는 내용이 제거된 제어 이미지를 사용합니다. 토큰 단위의 로그 확률 차이는 인스턴스 레벨의 시각적 내용에 의해 특정적으로 증가하는 후보들을 강조합니다. 이러한 대비를 활용하여 교사 모델의 원래 이미지 분포를 가능한 범위 내에서 더욱 선명하게 만들고, 결과적으로 생성된 전체 분포 목표를 학생 모델로 전달합니다. ViRL39K 데이터 세트를 사용하여 실험한 결과, VCSD는 Qwen3-VL 및 Qwen3.5 모델에서 기존 OPSD 방법보다 일관되게 더 우수한 성능을 보였습니다. 예를 들어, Qwen3-VL 모델에서 2B 파라미터의 경우 전체 벤치마크 정확도가 $62.27 ightarrow 67.04%$, 4B 파라미터의 경우 $71.30 ightarrow 73.16%$, 8B 파라미터의 경우 $72.51 ightarrow 76.26%$로 향상되었습니다. 또한, VCSD는 외부 교사 모델, 특권 정보, 시각적 증거 신호, 추론 과정 기록 또는 추가적인 추론 시간 비용이 필요하지 않습니다.

On-policy self-distillation (OPSD) is promising as it removes the external teacher required by on-policy distillation (OPD), yet it still needs asymmetric information between teacher and student to ensure that the self-teacher provides a stronger learning signal than the student. Existing methods create this asymmetry either through privileged answers or visual evidence. We ask whether both can be removed, yielding a simpler form of OPSD driven purely by input conditioning. For this purpose, we propose Visual Contrastive Self-Distillation, namely VCSD, which converts image-content removal into an on-policy self-distillation signal. At each student-generated response prefix, the EMA teacher produces two next-token distributions under the same prompt and prefix -- one conditioned on the original image and the other on a content-erased control. Their token-wise log-probability difference highlights candidates whose likelihood is specifically increased by the instance-level visual content. We use this contrast to sharpen the teacher's original-image distribution within its plausible support, and distill the resulting full-distribution target into the student. Using ViRL39K dataset, VCSD consistently outperforms matched OPSD across Qwen3-VL and Qwen3.5 models. For example, on Qwen3-VL, it improves the seven-benchmark aggregate from $62.27\% \rightarrow 67.04\%$ at 2B, $71.30\% \rightarrow 73.16\%$ at 4B, and $72.51\% \rightarrow 76.26\%$ at 8B. Furthermore, VCSD requires no external teacher, privileged answers, visual evidence signals, reasoning traces, or additional inference-time cost.