Lightning OPD 2.0: 대규모 추론 모델의 교차 강사 온폴리시 증류에서 스타일 편향 완화

Lightning OPD 2.0: Mitigating Style Bias in Cross-Teacher On-Policy Distillation for Large Reasoning Models

온폴리시 증류(OPD)는 교사 모델로부터 밀집된 토큰 수준의 감독 신호를 제공하지만, 그 효과는 교사 모델의 일관성에 따라 달라질 수 있습니다. 즉, OPD 감독을 제공하는 모델은 또한 지도 학습(SFT) 참조 모델 훈련에 사용되는 시연 데이터를 생성해야 합니다. 그러나 실제로는 SFT 데이터가 혼합되거나 출처가 불분명한 경우, 또는 SFT 데이터 생성 및 후속 증류에 서로 다른 모델이 선호되는 경우 이러한 조건이 자주 위반됩니다. 이러한 교차 강사 설정에서 더 강력한 OPD 교사 모델이라도 SFT 참조 모델보다 큰 개선을 가져오지 못할 수 있습니다. 우리는 원본 교사-참조 모델 간의 불일치가 문맥에 특정한 유용한 교사 증거뿐만 아니라, 어휘, 서식 및 추론 흐름의 차이와 관련된 반복적인 구성 요소를 포함하고 있음을 발견했습니다. 우리는 롤아웃 수준의 교차 적합을 사용하여 이러한 반복적인 구성 요소를 스타일-토큰 편향에 대한 실용적인 근사치로 추정하고, 토큰 수준의 OPD 업데이트를 생성하기 전에 이를 제거하는 Lightning OPD 2.0과 교차 적합 스타일 잔차화를 도입했습니다. 수학적 추론 및 코드 생성 벤치마크에서 Lightning OPD 2.0은 교차 강사 설정에서 Lightning OPD보다 일관되게 뛰어난 성능을 보였습니다. Klear-Reasoner-8B-SFT 모델을 기반으로, Lightning OPD 2.0은 AIME 2024에서 82.4%, LiveCodeBench v5에서 63.0%의 정확도를 달성했습니다. 이러한 결과는 Lightning OPD 2.0을 교차 강사 OPD를 위한 실용적인 접근 방식으로 확립하며, 교사 모델 일관성을 필수 조건으로 완화하고 SFT 데이터 생성기와 증류 교사를 독립적으로 선택할 수 있도록 합니다. 코드는 곧 공개될 예정입니다.

On-policy distillation (OPD) provides dense token-level supervision from a teacher, but its effectiveness can depend on teacher consistency, meaning that the model providing OPD supervision should also have generated the demonstrations used to train the supervised fine-tuning (SFT) reference. However, this condition is frequently violated in practice when SFT data have mixed or unknown provenance or when different models are preferred for SFT data generation and subsequent distillation. In such cross-teacher settings, even a stronger OPD teacher can yield little improvement over the SFT reference. We find that raw teacher--reference disagreement contains potentially useful context-specific teacher evidence as well as a recurring component associated with differences in wording, formatting, and reasoning cadence. We introduce Lightning OPD 2.0 with cross-fitted style residualization, which uses rollout-level cross-fitting to estimate this recurring component as an operational proxy for style-token bias and subtracts it before constructing the token-level OPD update. Across mathematical reasoning and code generation benchmarks, Lightning OPD 2.0 consistently outperforms Lightning OPD in cross-teacher settings. Starting from Klear-Reasoner-8B-SFT, Lightning OPD 2.0 reaches 82.4% on AIME 2024 and 63.0% on LiveCodeBench v5. Together, these results establish Lightning OPD 2.0 as a practical approach to cross-teacher OPD, relaxing teacher consistency as a prerequisite and allowing the SFT data generator and distillation teacher to be selected independently. Code will be released soon.