사고 모델을 위한 온-폴리시 자기 증류 방식 재검토

Rethinking On-Policy Self-Distillation for Thinking Models

자기 증류는 언어 모델의 자체 개선에 유망한 방법입니다. 이 방식을 통해, 모델은 수학 문제 해결책과 같은 특별 정보를 받았을 때 스스로를 가르치는 역할을 할 수 있습니다. 특히 테스트 시나리오에서 추론 능력을 활용하여 특별 정보를 흡수할 수 있는 사고 모델에게 이는 매우 매력적인 접근 방식처럼 보입니다. 하지만 놀랍게도, 우리는 특별 정보 기반의 자기 증류가 긴 추론 과정을 수행하는 사고 모델의 성능을 저하시킨다는 것을 보여줍니다. AIME24, AIME25, 그리고 HMMT25 데이터셋에서 평가된 다섯 가지 Qwen3 및 OLMo 사고 모델에 대해, 특별 정보를 활용한 증류 방식은 평균 정확도(avg@16)를 최대 17%까지 감소시킵니다. 성능 저하는 학생 모델에게 제공되지 않는 특별 정보의 양에 비례하며, 특히 추론 모델이 가장 큰 효과를 얻는 긴 추론 단계에서 더욱 두드러집니다. 이러한 실패 패턴은 자기 증류 방식에만 국한된 것이 아닙니다. 온-폴리시 증류(OPD)는 사고 모델의 성능을 향상시키지만, 특별 정보를 활용한 OPD는 이러한 이점을 상쇄합니다. 우리의 분석 결과는 특별 정보가 높은 엔트로피 분기 지점에서 학습 과정을 왜곡하여 이러한 실패 패턴을 유발한다는 것을 보여줍니다. 특별 정보는 사고 모델 추론 과정에서의 분기 빈도를 낮추지만, 일반적인 명령어 기반 모델에서는 그러지 않습니다. 이는 흥미로운 대조를 나타냅니다. 즉, 특별 정보는 명령어 튜닝된 모델에는 도움이 될 수 있지만, 더욱 강력한 사고 모델에게는 해로울 수 있습니다. 이러한 효과는 학생 모델이 자체 수정 단계를 시작할 때 더욱 두드러지며, 특별 정보를 활용한 OPD는 일반적인 OPD가 지원하는 재고 토큰 샘플링을 억제합니다. 특별 정보 기반의 가이드 아래 학습된 사고 모델은 검증, 되돌아보기, 그리고 회피에 대한 지표를 더 적게 생성하며, 이는 길이 정규화 후에도 마찬가지입니다. 이러한 결과는 강력한 사고 모델을 위한 자기 증류 방식이 토큰 수준의 신호, 특히 수정 및 추론 단계와 관련된 부분에 주의를 기울여야 함을 시사합니다.

Self-distillation is a promising recipe for self-improvement in language models. In this setting, a model can serve as its own teacher when given privileged information, such as a solution to a math problem. This seems especially appealing for thinking models, which can use test-time reasoning to absorb the privileged information. Surprisingly, we show that privileged self-distillation degrades thinking models on long reasoning traces: across five Qwen3 and OLMo thinking models evaluated on AIME24, AIME25, and HMMT25, privileged-context distillation causes a relative drop of up to 17% in avg@16 accuracy. The degradation scales with the amount of privileged context withheld from the student and is most pronounced at long rollout budgets, where thinking models otherwise obtain their largest gains. This failure mode is not specific to self-distillation: on-policy distillation (OPD) improves thinking models, but privileged OPD reverses these gains. Our diagnostics link this failure mode to how privileged teacher context reshapes learning at high-entropy forking positions, where multiple continuations remain plausible and may lead to different reasoning paths. Privileged context lowers fork rates in thinking-model rollouts but not in instruction-model rollouts. This leads to an interesting dichotomy, where privileged context can help instruction-tuned models but hurts stronger thinking models. The effect is visible when the student begins a self-correction branch, where privileged OPD penalizes sampled reconsideration tokens that vanilla OPD supports. Thinking models trained with a privileged teacher produce fewer verification, backtracking, and hedging markers, even after length normalization. These findings indicate that self-distillation for strong thinking models requires attention to token-level signal, especially around correction and reasoning steps.