불확실한 교사의 신뢰: 보정된 불확실성을 통한 암묵적 지식 추출

Trust the uncertain teacher: distilling dark knowledge via calibrated uncertainty

지식 증류의 핵심은 교사의 풍부한 '암묵적 지식'을 전달하는 데 있으며, 이는 클래스 간의 관계와 불확실성의 분포를 나타내는 미묘한 확률적 패턴입니다. 이 아이디어는 잘 확립되어 있지만, 기존 교차 엔트로피로 학습된 교사는 종종 이러한 신호를 유지하지 못합니다. 교사의 분포는 종종 날카롭고 과도하게 확신적인 형태로 나타나며, 이는 결정적인 것처럼 보이지만 실제로는 취약하며, 단순히 정답 레이블 이상을 제공하지 못하거나 심지어 표현 수준의 전송을 방해합니다. 이러한 과도한 확신은 특히 많은 클래스 중에서 미묘한 차이를 파악하는 것이 중요한 고차원 문제에서 더욱 문제가 됩니다. 또한, 이러한 취약한 목표는 데이터 분포의 변화에 대한 강건성을 감소시켜, 실제 환경에서 학생 모델의 부정확한 예측을 유발할 수 있습니다. 이러한 제한 사항을 해결하기 위해, 우리는 분포 관점에서 지식 증류를 재검토하고, 암묵적 지식을 보다 충실하게 전달할 수 있도록 설계된 프레임워크인 '보정된 불확실성 증류(Calibrated Uncertainty Distillation, CUD)'를 제안합니다. CUD는 교사의 과도한 확신을 무비판적으로 수용하는 대신, 교사가 유용한 정보를 제공하는 곳에서 불확실성을 드러내도록 유도하고, 학생이 교정된 목표를 통해 학습하도록 안내합니다. 우리의 접근 방식은 전송 전에 교사의 예측 분포를 직접적으로 조정하여, 정확성과 교정을 균형 있게 유지함으로써, 학생 모델이 쉬운 경우의 확신적인 신호와 어려운 경우의 구조화된 불확실성 모두로부터 이점을 얻을 수 있도록 합니다. 다양한 벤치마크에서 CUD는 정확도가 향상된 모델뿐만 아니라, 데이터 분포 변화에 더 강건하고, 모호하거나 긴 꼬리를 갖는 입력 데이터에 대해 더 신뢰할 수 있는 모델을 제공하는 것으로 나타났습니다.

The core of knowledge distillation lies in transferring the teacher's rich 'dark knowledge'-subtle probabilistic patterns that reveal how classes are related and the distribution of uncertainties. While this idea is well established, teachers trained with conventional cross-entropy often fail to preserve such signals. Their distributions collapse into sharp, overconfident peaks that appear decisive but are in fact brittle, offering little beyond the hard label or subtly hindering representation-level transfer. This overconfidence is especially problematic in high-cardinality tasks, where the nuances among many plausible classes matter most for guiding a compact student. Moreover, such brittle targets reduce robustness under distribution shift, leaving students vulnerable to miscalibration in real-world conditions. To address this limitation, we revisit distillation from a distributional perspective and propose Calibrated Uncertainty Distillation (CUD), a framework designed to make dark knowledge more faithfully accessible. Instead of uncritically adopting the teacher's overconfidence, CUD encourages teachers to reveal uncertainty where it is informative and guides students to learn from targets that are calibrated rather than sharpened certainty. By directly shaping the teacher's predictive distribution before transfer, our approach balances accuracy and calibration, allowing students to benefit from both confident signals on easy cases and structured uncertainty on hard ones. Across diverse benchmarks, CUD yields students that are not only more accurate, but also more calibrated under shift and more reliable on ambiguous, long-tail inputs.