감독 없이 이루어지는 온-폴리치 자기 증류

On-Policy Self-Distillation without Any Supervision

온-폴리치 (자기-) 증류(OPD / OPSD)는 대규모 언어 모델(LLM)의 후속 학습에 강력한 잠재력을 보여왔습니다. 그러나 기존 방법은 여전히 외부 감독에 크게 의존하며, 여기에는 정답 데이터, 환경 피드백 또는 더 큰 모델의 지침이 포함됩니다. 따라서 진정한 "자기" 증류라고 보기 어렵습니다. 본 연구에서는 모델 자체의 생성 결과만을 사용하여 내부 일관성을 통해 온-폴리치 자기 증류를 달성할 수 있음을 보여줍니다. 우리는 비지도 온-폴리치 자기 증류(U-OPSD)라는 새로운 방법을 제안합니다. U-OPSD는 먼저 여러 번의 시뮬레이션을 수행하고, 자체 일관성 임계값을 기준으로 다수결 투표를 통해 가짜 해법을 구성합니다. 그런 다음, U-OPSD는 가장 짧은 가짜 해법에 기반한 교사 분포를 생성하고, 모델이 확신적으로 잘못하는 부분의 접두사에 이를 증류하여 모델이 스스로 수정하도록 합니다. 다양한 벤치마크, 기본 모델 및 학습 환경에서 U-OPSD는 기본 모델보다 일관되게 성능을 향상시키며, 정답 데이터를 사용하는 OPSD 및 GRPO와 같은 지도 방식과 동등하거나 더 나은 성능을 보입니다. AIME24, AIME25, HMMT25, MATH500 및 AMC23 데이터셋에서 U-OPSD는 Qwen3의 비사고 모드에서 4B 모델에서 8.5%, 8B 모델에서 10.7% 성능 향상을 보여주었으며, OPSD보다 평균적으로 3.2% 및 2.3% 더 높은 성능을 보였습니다. 사고 모드에서는 U-OPSD가 OPSD와 비슷한 수준의 성능을 보였으며, 4B 모델에서는 0.9% 더 높고, 8B 모델에서는 동등한 성능을 나타냈습니다. 또한 GRPO보다 각각 0.7% 및 1.1% 더 높은 성능을 보였습니다.

On-policy (Self-)Distillation (OPD / OPSD) has shown strong potential for post-training large language models (LLMs). However, existing methods still rely heavily on external supervision, including ground-truth signals, environmental feedback, or guidance from larger models, and therefore fall short of genuine "self"-distillation. In this study, we show that on-policy self-distillation can be achieved using only a model's own generations via internal consistency. We propose unsupervised on-policy self-distillation (U-OPSD). U-OPSD first samples multiple rollouts and constructs a pseudo solution by majority vote under a self-consistency threshold. It then conditions the model's distribution on the pseudo-solution and distills itself on the disagreeing completions, allowing the model to correct itself precisely where it is confidently wrong. Across diverse benchmarks, base models, and training settings, U-OPSD consistently improves over the base models and matches or surpasses supervised methods with ground truth (GT) such as OPSD and GRPO. On five mathematical reasoning benchmarks, i.e., AIME24, AIME25, HMMT25, MATH500, and AMC23, U-OPSD improves over the base model by 8.5% and 10.7% on Qwen3 non-thinking mode at 4B and 8B scales, and outperforms OPSD by 3.2% and 2.3% on average, respectively. In thinking mode, U-OPSD stays on par with OPSD, ahead by 0.9% at 4B and level at 8B and surpassing GRPO by 0.7% and 1.1%, respectively. Code is available at [https://github.com/williamium3000/u-opsd](https://github.com/williamium3000/u-opsd).