ReNIO: LLM 온폴리시 증류를 위한 부정적인 추세 중요도 재가중화

ReNIO: Reweighting Negative Trajectory Importance for LLM On-Policy Distillation

온폴리시 증류(OPD)는 학생 모델이 자체 생성한 결과물을 사용하여 학습함으로써 LLM의 추론 능력을 향상시키지만, 기존의 OPD 방식은 모든 학생 모델이 생성한 결과물(SGO)을 동일하게 취급합니다. 우리는 통제된 필터링 실험에서 일관적인 비대칭성을 관찰했습니다. OPD 및 온폴리시 자기 증류(OPSD) 모두에서, 정확하지 않은 SGO만으로 학습하는 것이 정확한 SGO만으로 학습하는 것보다 더 우수한 성능을 보였습니다. 추가 분석 결과, 정확한 SGO만으로 학습된 모델은 짧은 추론 과정을 생성하고 반사 능력(reflection behavior)이 약한 경향이 있으며, 반면 부정확한 SGO는 모델의 능력을 최대한 활용하는 탐색적 추론을 더 잘 유지합니다. 이러한 정보를 전체 답변을 포함하는 시퀀스 데이터 없이 활용하기 위해, 우리는 LLM 온폴리시 증류를 위한 부정적인 추세 중요도를 재가중화하는 ReNIO를 제안합니다. ReNIO는 학생 모델에서 교사 모델로의 확률 비율을 사용하여 잘못된 추론으로 이어지는 중요한 토큰을 식별하고, 이러한 토큰들의 정보를 정규화된 샘플 가중치로 통합합니다. 이를 통해 최종 답변의 정확성을 확인하지 않고도 가능성이 높은 부정적인 추세에 더 큰 가중치를 부여합니다. ReNIO는 접두사 기반 토큰 확률만 사용하므로, 전체 시퀀스 데이터 기반 강화 학습 방식보다 OPD의 접두사 기반 학습 이점을 유지합니다. 수학적 추론 및 코드 생성 작업에서 ReNIO는 OPD와 OPSD 모두의 성능을 향상시키며, Qwen3-1.7B 모델에서는 최대 8.90%, R1-Distill-Qwen-7B 모델에서는 최대 10.00%의 상대적 성능 향상을 보였습니다 (수학적 추론 벤치마크 기준). 코드 저장소: https://github.com/BDML-lab/ReNIO.

On-policy distillation (OPD) improves LLM reasoning by training a student model on its own generated outputs, but standard OPD treats all student-generated outputs (SGOs) equally regardless of their informativeness. We observe a consistent asymmetry in controlled filtering experiments: in both OPD and on-policy self distillation (OPSD), training only on incorrect SGOs outperforms training only on correct ones. Our further analysis suggests that models trained on correct-only SGOs tend to generate shorter reasoning traces and show weaker reflection behavior, while incorrect SGOs better preserve exploratory reasoning near the model's capability boundary. To exploit this signal without requiring full answer-containing rollouts, we introduce ReNIO, which Reweights Negative trajectory Importance for LLM On-policy distillation. By using the student-to-teacher probability ratio, ReNIO identifies pivotal tokens leading to wrong reasoning traces and aggregates their information into a normalized sample weight, inherently assigning larger weights to likely negative trajectories without observing the correctness of final-answer. Since Re-NIO only uses prefix-conditioned token probabilities, it preserves OPD's prefix training advantage over full-rollout reinforcement learning. Across both mathematical reasoning and code generation tasks, ReNIO improves both OPD and OPSD, with representative relative gains of up to 8.90% for Qwen3-1.7B and 10.00% for R1-Distill-Qwen-7B on mathematical reasoning benchmarks. Code repo: https://github.com/BDML-lab/ReNIO.