직접 온정책 증류를 통한 약한 모델에서 강한 모델로의 일반화

Weak-to-Strong Generalization via Direct On-Policy Distillation

검증 가능한 보상을 활용하는 강화 학습(RLVR)은 언어 모델의 추론 능력을 향상시키는 강력한 방법이지만, 새로운 고성능 모델을 사용할 때마다 반복해야 하므로 비용이 많이 듭니다. 이는 대상 모델이 훈련 과정에서 많은 샘플 데이터를 생성해야 하기 때문입니다. 모델 규모가 커짐에 따라, 추가적인 훈련 자체가 병목 현상이 됩니다. 본 연구에서는 약한 모델에서 강한 모델로의 일반화를 위한 대안적인 방법을 제시합니다. 즉, 샘플 데이터 생성이 저렴한 작은 모델에서 강화 학습을 수행하고, 그 결과를 활용하여 더 강력한 대상 모델을 개선하는 것입니다. 단순히 강화 학습 후 생성된 약한 모델을 증류하는 것만으로는 충분하지 않습니다. 왜냐하면, 해당 모델의 최종 정책은 유용한 강화 학습 효과와 작은 모델의 한계점을 모두 포함하기 때문입니다. 본 연구에서는 '직접 온정책 증류(Direct-OPD)'라는 새로운 방법을 제안합니다. 이는 약한 모델에서 생성된 강화 학습에 의해 변화된 정책을 직접적으로 이전하는 방식입니다. Direct-OPD는 강화 학습 전후의 모델을 비교하고, 두 모델 간의 로그 비율을 학생 모델에게 밀집된 암묵적인 보상으로 제공합니다. 간단히 말해서, 두 개의 체크포인트 쌍은 강화 학습이 약한 모델에서 특정 행동에 대해 어떤 영향을 미쳤는지 알려줍니다. Direct-OPD는 이러한 정보를 활용하여 더 강력한 학생 모델의 자체 온정책 상태에 적용합니다. 이를 통해 명시적인 보상 모델을 훈련하거나 대상 모델에서 희소 보상을 사용하는 강화 학습을 수행하지 않고도, 약한 모델의 강화 학습 감독 신호를 직접적으로 재사용할 수 있습니다. 실험 결과, Direct-OPD는 일관되게 약한 모델을 활용하여 더 강력한 대상 모델을 개선합니다. 특히, Qwen3-1.7B 모델을 사용하여 AIME 2024에서 정확도를 48.3%에서 62.4%로 향상시켰으며, 이는 단 4시간 동안 8개의 A100 GPU를 사용한 결과입니다. Direct-OPD는 직접 강화 학습보다 성능이 뛰어나며, 여러 정책 변화를 순차적으로 적용할 수 있습니다. 본 연구의 결과는 강화 학습 결과를 단순히 모방할 수 있는 최종 모델로 활용하는 것이 아니라, 암묵적인 보상 신호로서 다양한 모델 규모에 걸쳐 재사용될 수 있음을 보여줍니다.

Reinforcement learning with verifiable rewards (RLVR) is a powerful recipe for improving language-model reasoning, but it is expensive to repeat on every new strong model because the target model must generate many rollouts during training. As models scale, post-training itself becomes a bottleneck. We study a weak-to-strong alternative: run RL on a smaller model where rollouts are cheaper, then reuse what that RL run learned to improve a stronger target model. Directly distilling the post-RL weak teacher is not enough, because the teacher's final policy mixes useful RL gains with the limitations of the smaller model. We propose Direct On-Policy Distillation (Direct-OPD), which transfers the teacher's RL-induced policy shift instead. Direct-OPD compares the post-RL teacher with its own pre-RL reference and treats their log-ratio as a dense implicit reward for the student. In plain terms, the checkpoint pair tells us which actions RL made the weak model more or less likely to take, and Direct-OPD applies that signal on the stronger student's own on-policy states. This directly reuses the weak model's RL supervision signal without training an explicit reward model or running sparse-reward RL on the target model. Empirically, Direct-OPD consistently leverages weaker teachers to improve stronger target models; notably, it boosts Qwen3-1.7B from 48.3% to 62.4% on AIME 2024 in just 4 hours on 8 A100 GPUs. It outperforms step-matched direct RL and enables the sequential composition of multiple policy shifts. Our results show that RL outcomes can be reused across model scales as implicit reward signals, not merely as final models to imitate.