WDL-OPD: 혼합 제약 기반 공동 학습을 통한 약한 구동 온라인 정책 증류

WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training

온라인 정책 증류(OPD)는 학생 모델 자체에서 샘플링된 경로를 사용하여 교사 모델과 학생 모델을 일치시켜, 오프라인 증류의 학습-테스트 상태 불일치를 줄입니다. 그러나 동일한 피드백 루프는 불안정할 수 있습니다. 각 업데이트는 정책뿐만 아니라 다음 업데이트 계산에 사용되는 상태에도 영향을 미칩니다. 본 논문에서는 두 개의 학습 가능한 정책을 사용하는 혼합 제약 기반 공동 학습 방법인 WDL-OPD를 소개합니다. 앵커 정책은 모든 시퀀스를 생성하고, 보조 정책은 동일한 방문 상태를 평가하며, 이들의 토큰 분포에 대한 기하학적 혼합이 역방향 KL 발산으로 고정된 교사 모델과 일치하도록 합니다. 두 정책 모두 그래디언트를 수신합니다. 보조 정책을 고정하면 OPD$^2$ 및 W2S-OPD와 밀접하게 관련된 앵커-대조 프록시 목표가 회복되는 반면, 공동 학습은 정적 델타로 표현할 수 없는 분기 수준의 자유도를 생성합니다. 1.7B 및 4B 규모의 Qwen3 실험에서 WDL-OPD는 네 가지 규모-도메인 설정 모두에서 가장 강력한 학생 모델 체크포인트를 생성했습니다. 4B 규모에서는 MATH500 정확도가 0.630에서 0.685로, 1.7B 규모에서는 0.521에서 0.585로 향상되었습니다. 코드 생성 작업에서 단일 정책 OPD 구성은 엔트로피 증가 또는 경로 저하를 보이는 반면, 공동 학습은 독립적으로 재평가된 개발 점수 0.637 및 0.375를 달성했습니다. 여러 비교는 커리큘럼 또는 초기화 방식이 다르기 때문에, 이러한 결과는 보편적인 인과 관계 주장이 아닌 안정화 가설을 뒷받침합니다. 우리는 해당 가설을 검증하는 데 필요한 정확한 학습 알고리즘, 실패 사례 및 제어된 비교 매트릭스를 제공합니다.

On-policy distillation (OPD) aligns a student with a teacher on trajectories sampled from the student itself, reducing the train-test state mismatch of offline distillation. The same feedback loop can nevertheless be unstable: each update changes both the policy and the states on which the next update is computed. We introduce WDL-OPD, a mixture-constrained co-training method with two trainable policies. An anchor policy generates every rollout, an auxiliary policy evaluates the same visited states, and a geometric mixture of their token distributions is matched to a frozen teacher by reverse KL. Both policies receive gradient. We show that freezing the auxiliary recovers an anchor-plus-contrast proxy target closely related to OPD$^2$ and W2S-OPD, whereas joint training creates branch-level degrees of freedom that a static delta cannot express. In recorded Qwen3 experiments at 1.7B and 4B scale, WDL-OPD produces the strongest student checkpoint in each of four scale-domain settings. It raises MATH500 accuracy from 0.630 to 0.685 at 4B and from 0.521 to 0.585 at 1.7B. In code generation, seven single-policy OPD configurations exhibit entropy growth or trajectory degradation, while co-training reaches independently re-evaluated development scores of 0.637 and 0.375. Because several comparisons differ in curriculum or initialization, these results support a stabilization hypothesis rather than a universal causal claim. We provide the exact training algorithm, failure evidence, and the controlled comparison matrix needed to test that hypothesis.