RRC: 순위 기반 보상 구축을 통한 LLM 강화 학습에서의 생성형 보상 모델 활용

RRC: Unlocking Generative Reward Models in LLM Reinforcement Learning via Ranking-Based Reward Construction

최근의 보상 모델 발전은 판별적 보상 모델에서 생성형 보상 모델로의 패러다임 전환을 보여줍니다. 그러나 응답 순위 결정 능력에도 불구하고, 생성형 보상 모델은 강화 학습(RL) 분야에서 잠재력을 충분히 발휘하지 못했습니다. 본 연구에서는 이러한 한계가 기존 RL 알고리즘이 채택하는 스칼라 점수화 방식과 생성형 보상 모델링의 비교적 특성 간의 불일치에서 비롯된다는 것을 밝혀냈습니다. 이 격차를 해소하기 위해, 상대적 선호도 순위를 기반으로 보상을 도출하여 생성형 보상 모델이 보다 효과적인 RL 학습 신호를 제공할 수 있도록 하는 순위 기반 보상 구축(RRC) 방안을 제안합니다. RRC는 두 가지 상호 보완적인 전략인 자체 경쟁 순위 (샘플링된 응답 간의 비교를 활용)와 앵커 기반 순위 (작은 규모의 참조 응답 집합을 사용하여 확장 가능한 순위 기반 보상 구축 가능)를 도입합니다. 개방형 대화 및 추론 벤치마크에서의 실험 결과, RRC는 생성형 보상 모델을 사용한 RL 학습 성능을 크게 향상시키며, 기존의 보상 구축 방식에 비해 일관된 성능 향상을 달성하는 것을 보여줍니다. 본 연구의 코드는 https://github.com/wangclnlp/RRC 에서 확인할 수 있습니다.

Recent advances in reward modeling show a paradigm shift from discriminative reward models to generative reward models. However, despite their strong capabilities in response ranking, generative reward models have not realized their potential in reinforcement learning (RL). Our analysis reveals that this limitation arises from a mismatch between the comparative nature of generative reward modeling and the scalar scoring paradigm adopted by existing RL algorithms. To bridge this gap, we propose a Ranking-based Reward Construction (RRC) approach, which enables generative reward models to provide more effective RL learning signals by deriving rewards from relative preference rankings. RRC introduces two complementary strategies: self-competitive ranking, which exploits comparisons among sampled responses, and anchor-guided ranking, which enables scalable ranking-based reward construction with a small set of reference responses. Experiments across open-ended chat and reasoning benchmarks demonstrate that RRC substantially improves RL training with generative reward models, achieving consistent gains over existing reward construction approaches. Our code can be found at https://github.com/wangclnlp/RRC.