약한 모델에서 강한 모델로의 온폴리시 증류

Weak-to-Strong On-Policy Distillation

온폴리시 증류(OPD)는 학생 모델이 자신의 데이터에 대해 교사 모델의 토큰 수준 분포를 모방하도록 하여, LLM 간의 능력을 전송하는 효과적인 방법입니다. 기존의 접근 방식은 일반적으로 교사 모델이 학생 모델보다 최소한 동등하거나 우수하다고 가정합니다. 즉, 더 큰 모델을 작은 모델로 증류하거나, 공유된 기반에서 학습된 여러 도메인 전문가를 통합하는데, 이는 학생 모델의 규모와 동일한 비용이 필요한 훈련 과정을 요구합니다. 본 논문에서는 약한 모델에서 강한 모델로의 온폴리시 증류(W2S-OPD)라는 간단하면서도 효과적인 OPD 프레임워크를 제안합니다. W2S-OPD는 여러 개의 약한 모델로부터 증류하여 강력한 학생 모델을 향상시킵니다. W2S-OPD는 긍정 및 부정 모델 쌍으로 구성된 대비 모델을 사용하여 로짓 공간에서 프록시 교사 모델을 구축합니다. 이때, 두 모델 모두 학생 모델보다 작고 쉽게 얻을 수 있습니다. 이들의 로짓 차이는 능력을 나타내는 방향을 분리하며, 이는 학생 모델의 기본 모델에 추가되어 학생 모델과 분포적으로 가깝게 유지되면서 해당 방향을 결합하는 프록시 교사 모델을 생성합니다. 학생 모델은 자체 데이터에 대한 각 토큰별 역 KL 발산을 최소화하여 이 프록시 교사 모델로부터 증류를 수행합니다. 대비 모델 쌍은 다음과 같이 구성됩니다. 첫째, 강화 학습(RL) 전문가 모델과 해당 사전 RL 초기화 모델 간의 비교는 RL이 부여하는 기술을 분리합니다. 둘째, 더 큰 기본 모델과 더 작은 기본 모델 간의 비교는 크기에 따른 능력을 분리합니다. 셋째, 올바른 힌트와 잘못된 힌트를 가진 작은 기본 모델 간의 비교는 솔루션에 대한 인스턴스 레벨 방향을 분리합니다. 네 가지 수학 벤치마크와 세 가지 코드 벤치마크에서 W2S-OPD는 OPD보다 우수한 성능을 보이며, 학생 모델이 해당 도메인의 전문가 수준을 능가하고 모든 감독 데이터 소스가 약하더라도 학생 모델의 성능을 지속적으로 향상시킵니다. 분석 결과, 서로 다른 대비 모델은 다음과 같은 고유한 신호를 제공합니다. RL 및 힌트 대비는 추론 프레임워크를 강조하는 반면, 크기 대비는 문제 해결 절차를 강조합니다. 본 논문의 코드는 https://github.com/Yu-Fangxu/W2S-OPD 에서 확인할 수 있습니다.

On-policy distillation (OPD), which aligns a student with the teacher's token-level distribution on the student's own rollouts, is an effective paradigm for transferring capabilities across LLMs. Prevailing approaches assume a teacher at least as capable as the student: they either distill a larger model into a smaller one, which fails at the frontier where no larger teacher exists, or consolidate multiple domain experts trained from a shared base, which requires costly training at the student's scale. We introduce Weak-to-Strong On-Policy Distillation (W2S-OPD), a simple yet effective OPD framework that improves the strong student by distilling from multiple weak models. W2S-OPD constructs a proxy teacher in logit space from a contrast pair of a positive and a negative model, both smaller than the student and cheap to obtain. Their logit difference isolates the capability direction, which is added to the student's own base model, yielding a proxy teacher that couples this direction while staying distributionally adjacent to the student. The student then distills it by minimizing the per-token reverse KL on its own rollouts. We instantiate the contrast pair as i) a post-RL expert against its pre-RL initialization, isolating the skill RL instills, ii) a larger against a smaller base model, isolating the capability from scale, and iii) a small base model with correct versus wrong hints, isolating the instance-level direction toward the solution. Across four math and three code benchmarks, W2S-OPD outperforms OPD, enables the student to surpass the domain teacher, and keeps improving the student even when every supervision source is weaker. Analysis shows different contrasts yield distinct signals: the post-RL and hint contrasts emphasize reasoning frameworks, while the scale contrast emphasizes the solving procedure. Our code will be available at https://github.com/Yu-Fangxu/W2S-OPD.