확실성의 환상: 온-폴리시 증류에서의 능력과 교정(Calibration) 분리

The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation

온-폴리시 증류(OPD)는 훈련 후 언어 모델에 대한 점점 더 중요한 패러다임입니다. 그러나 우리는 널리 나타나는 '잘못된 교정의 확장 법칙(Scaling Law of Miscalibration)'을 발견했습니다. OPD는 작업 정확도를 효과적으로 향상시키지만, 모델을 심각한 과신 상태로 체계적으로 몰아넣습니다. 이러한 실패의 원인은 정보 불일치에 있습니다. 즉, 지도 학습 과정에서 사용되는 풍부한 정보는 훈련 중에만 제공되지만, 배포된 모델은 배포 시점에 사용 가능한 정보만을 사용하여 신뢰도를 보고해야 합니다. 우리는 이러한 관점을 이론적으로 명확히 하고, 교사 모델에 의해 결정된 성공이 일반적으로 배포 시점의 신뢰도를 나타내는 적절한 목표가 아니며, 유용한 추가 정보는 엔트로피 붕괴와 체계적인 낙관주의 편향을 유발한다는 것을 보여줍니다. 이러한 문제를 해결하기 위해, 우리는 모델의 실행 결과를 기반으로 경험적 신뢰도를 추정하고, 모델이 자체적으로 보고하는 신뢰도 대신 이 학생 중심의 목표값을 사용하며, 수정된 응답을 동일한 자체 증류 파이프라인을 통해 전달하는 교정(Calibration)을 고려한 OPD 프레임워크인 CaOPD를 제안합니다. 다양한 모델과 도메인에 대한 실험 결과, CaOPD는 경쟁력 있는 성능을 유지하면서 파레토 최적의 교정을 달성하며, 데이터 분포 변화 및 지속적인 학습 환경에서도 안정적으로 작동합니다. 우리의 연구 결과는 능력 증류가 반드시 교정된 신뢰도를 의미하지 않으며, 신뢰도는 훈련 후 단계에서 중요한 목표로 간주되어야 함을 강조합니다. 코드: https://github.com/SalesforceAIResearch/CaOPD

On-policy distillation (OPD) is an increasingly important paradigm for post-training language models. However, we identify a pervasive Scaling Law of Miscalibration: while OPD effectively improves task accuracy, it systematically traps models in severe overconfidence. We trace this failure to an information mismatch: teacher supervision is formed under privileged context available during training, whereas the deployed model must report confidence using only deployment-time information. We formalize this perspective theoretically, showing that teacher-conditioned success is generally not a valid target for deployment-time confidence and that helpful privileged context induces entropy collapse and a systematic optimism bias. To address this, we propose a calibration-aware OPD framework, CaOPD, that estimates empirical confidence from model rollouts, replaces self-reported confidence with this student-grounded target, and distills the revised response through the same self-distillation pipeline. Experiments across various models and domains show that CaOPD achieves Pareto-optimal calibration while maintaining competitive capability, generalizing robustly under out-of-distribution and continual learning. Our findings highlight that capability distillation does not imply calibrated confidence, and that confidence should be treated as an essential objective in post-training. Code: https://github.com/SalesforceAIResearch/CaOPD