SAF-OPD: 안정적인 장점 결합을 위한 온폴리시 증류

SAF-OPD: Stable Advantage Fusion for On-Policy Distillation

검증 가능한 보상을 사용하는 강화 학습(RLVR)은 모든 토큰에 대해 단일 레벨의 보상을 부여하는 반면, 온폴리시 증류(OPD)는 더 강력한 교사 모델을 사용하여 각 토큰을 평가하여 밀집된 장점을 제공하지만 성능이 교사 모델 수준으로 제한되고 그 이상의 탐색은 저지됩니다. 이 두 방법의 상호 보완성은 결합 잠재력이 높지만, 우리는 두 가지 장점을 고정 계수로 결합하면 엔트로피 붕괴가 발생한다는 사실을 발견했습니다. 이는 크기 불일치(토큰 레벨 OPD 장점이 제한된 RLVR 장점보다 훨씬 커져 신호를 상쇄)와 시간적 불일치(지속적인 OPD가 학생 모델을 교사 모델로 계속 끌어당겨 이를 능가하기 위한 탐색을 제한) 때문입니다. 우리는 SAF(Stable Advantage Fusion, 안정적인 장점 결합 프레임워크)를 제안합니다. SAF는 경량화된 4단계 파이프라인을 통해 이러한 문제를 해결하며, 이 파이프라인은 OPD 장점에만 적용됩니다. 여기에는 크기 조절을 위한 희소화 후 압축 메커니즘과 시간적 조절을 위한 워밍업 후 감쇠 메커니즘이 포함되어 있으며, 각 단계는 독립적으로 전환 가능하며 미미한 오버헤드만을 추가합니다. RLVR을 GRPO와 함께 구현하고, Qwen3-1.7B/4B/8B 모델을 사용하여 7개의 수학적 추론 및 코드 생성 벤치마크에서 SAF를 평가했습니다. 그 결과, SAF는 엔트로피 붕괴를 방지하고 고정 계수 GRPO+OPD 결합보다 일관되게 우수한 성능을 보였습니다. 특히, 모든 모델-도메인 설정에서 평균 점수가 0.51~2.70% 향상되었으며, 더 안정적인 학습이 이루어졌습니다.

Reinforcement learning with verifiable rewards (RLVR) broadcasts a single response-level reward to every token, while on-policy distillation (OPD) scores each token against a stronger teacher for a dense advantage but caps performance at teacher quality and discourages exploration beyond it. Their complementarity makes combining RLVR and OPD promising, but we find that fusing the two advantages with a fixed coefficient triggers entropy collapse from two miscalibrations: a magnitude mismatch, where token-level OPD advantages can spike far beyond the bounded RLVR advantage and erase its signal, and a temporal mismatch, where sustained full-strength OPD keeps pulling the student toward the teacher and limits exploration needed to surpass it. We propose SAF, a Stable Advantage Fusion framework that resolves both issues via a lightweight, four-stage pipeline applied only to the OPD advantage: a sparsify-then-compress mechanism for magnitude control paired with a warm-up-then-anneal mechanism for temporal control, with each stage independently switchable and adding negligible overhead. Instantiating RLVR with GRPO, we evaluate SAF across seven mathematical reasoning and code generation benchmarks with Qwen3-1.7B/4B/8B: SAF avoids entropy collapse and consistently outperforms fixed-coefficient GRPO+OPD fusion, improving the aggregate score by 0.51-2.70% across all six model-domain settings while achieving more stable training.