보상 감독 재고: rubic 기반 자기 증류

Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation

추론 언어 모델의 사후 학습은 일반적으로 검증 가능한 보상을 활용한 지도형 증류 및 강화 학습에 의해 추진됩니다. 증류는 종종 체인 오브 소트(chain-of-thought) 주석에 의존하는데, 이는 획득 비용이 많이 들 뿐만 아니라 노이즈가 있거나 불완전하며 부분적으로 오류가 있을 수 있습니다. 심지어 최종 해결책이 정확하더라도 불완전한 근거는 학습을 방해할 수 있습니다. 반면에 검증된 보상을 사용한 강화 학습은 일반적으로 평가 피드백을 스칼라 신호로 압축하여 응답의 어떤 측면을 개선해야 하는지에 대한 정보를 가립니다. 본 논문에서는 rubic을 구조화되고 세분화된 피드백으로 활용하는 on-policy 자기 증류 프레임워크인 **rubic 기반 자기 증류(Rubric-Conditioned Self-Distillation)**를 제안합니다. 우리의 방법은 교사 모델에 기준 수준의 rubic을 적용하고, 이를 사용하여 학생 모델이 자체적으로 생성한 추론 과정에서 토큰 단위 지침을 제공합니다. 이러한 설계는 단일 참조 근거를 유일한 감독 목표로 사용하는 것을 피합니다. 대신, rubic은 강력한 응답이 충족해야 할 조건을 명시하여 스칼라 보상 최적화보다 추론 과정을 통해 더 세분화된 신용 할당을 가능하게 합니다. 우리는 이 프레임워크를 먼저 작업별 rubic 생성을 학습하고, 그 다음 rubic 기반 추론기를 훈련하는 두 단계 파이프라인으로 구현했습니다. 다양한 과학 추론 벤치마크에서 평가한 결과, rubic 기반 자기 증류는 rubic 수준의 기준을 추론 과정 전반에 걸쳐 토큰 단위 지침으로 효과적으로 변환하며, 평균적으로 GRPO보다 1.0점, OPSD보다 0.9점을 상회하는 성능을 보였습니다.

Post-training of reasoning language models is commonly driven by supervised distillation and reinforcement learning with verifiable rewards. Distillation often relies on chain-of-thought annotations that are expensive to obtain and may themselves be noisy, incomplete, or partially incorrect; even when the final solution is correct, an imperfect rationale can interfere with learning. Reinforcement learning with verified rewards, on the other hand, typically compresses evaluative feedback into a scalar signal, obscuring which aspects of a response should be improved. We propose \textbf{Rubric-Conditioned Self-Distillation}, a framework that incorporates rubrics as structured, fine-grained feedback for on-policy self-distillation. Our method conditions the teacher model on criterion-level rubrics and uses it to provide token-level guidance on the student's own sampled trajectories. This design avoids treating a single reference rationale as the sole supervision target. Instead, rubrics specify what a strong response should satisfy, enabling more fine-grained credit assignment over the reasoning process than scalar reward optimization. We instantiate this framework with a two-stage pipeline that first learns to generate task-specific rubrics and then trains a rubric-guided reasoner. We evaluate on a diverse suite of science reasoning benchmarks and results show that rubric-conditioned self-distillation effectively converts rubric-level criteria into token-level guidance over the reasoning process, surpassing GRPO by 1.0 points and OPSD by 0.9 points on average.