ReDiPPO: 참조 기반 값 보정 및 불일치 인식 토큰 재가중화를 통한 수학적 추론

ReDiPPO: Reference-Guided Value Calibration and Discrepancy-Aware Token Reweighting for Mathematical Reasoning

강화 학습은 대규모 언어 모델의 수학적 추론 능력을 향상시키는 효과적인 패러다임으로 부상했습니다. 기존 정책 최적화 방법 중, Proximal Policy Optimization (PPO)은 학습된 비평기가 원칙적으로 토큰 수준의 기여도 할당을 제공할 수 있다는 점에서 특히 매력적입니다. 그러나 긴 추론 과정을 특징으로 하고 결과 보상이 희소한 수학적 추론 작업에서, 신뢰할 수 있는 토큰 수준의 기여도 할당은 여전히 어려운 과제입니다. 표준 비평기는 종종 중간 추론 상태를 정확하게 평가하지 못하여 노이즈가 심한 이점 추정치와 최적이 아닌 정책 업데이트로 이어집니다. 본 논문에서는 수학적 추론을 위한 참조 기반 및 불일치 인지 PPO 프레임워크인 ReDiPPO를 제안합니다. ReDiPPO는 학습 시 참조 답변을 활용하여 보다 정확한 값 추정을 제공하는 참조 기반 비평기를 도입합니다. 동시에 표준 비평기를 유지하고 표준 값 추정치와 참조 기반 값 추정치 간의 토큰 수준 불일치를 정량화합니다. 이러한 불일치는 어려운 추론 상태의 지표로 사용되며, PPO 최적화 과정에서 해당 토큰 수준 이점을 재가중하는 데 활용됩니다. 다양한 수학적 추론 벤치마크에 대한 광범위한 실험 결과, ReDiPPO는 값 추정 정확도를 향상시키고 PPO, DAPO 및 GSPO를 포함한 강력한 정책 최적화 기준보다 최종 추론 성능에서 일관되게 우수한 성능을 보임을 보여줍니다. 저희 코드 repository는 https://github.com/cii030/ReDiPPO 에서 확인하실 수 있습니다.

Reinforcement learning has emerged as an effective paradigm for enhancing the mathematical reasoning capabilities of large language models. Among existing policy optimization methods, Proximal Policy Optimization (PPO) remains particularly appealing because its learned critic can, in principle, provide token-level credit assignment. However, in mathematical reasoning tasks characterized by long reasoning horizons and sparse outcome rewards, reliable token-level credit assignment remains challenging. The standard critic often fails to accurately evaluate intermediate reasoning states, resulting in noisy advantage estimates and suboptimal policy updates. In this paper, we propose ReDiPPO, a Reference-guided and Discrepancy-aware PPO framework for mathematical reasoning. ReDiPPO introduces a reference-guided critic that uses reference answers as training-time privileged signals to provide more accurate value estimation. Meanwhile, it retains a standard critic and quantifies the token-level reference-standard discrepancy between the standard value estimate and the reference-guided value estimate. This discrepancy serves as an indicator of difficult reasoning states and is used to reweight the corresponding token-level advantages during PPO optimization. Extensive experiments on diverse mathematical reasoning benchmarks demonstrate that ReDiPPO improves value-estimation accuracy and consistently outperforms strong policy optimization baselines, including PPO, DAPO, and GSPO, in final reasoning performance. Our code is available on https://github.com/cii030/ReDiPPO.