길이 확장(Length Scaling)을 넘어서: 생성형 보상 모델(Generative Reward Models)의 성능 향상을 위한 폭(Breadth)과 깊이(Depth)의 조화

Beyond Length Scaling: Synergizing Breadth and Depth for Generative Reward Models

최근 생성형 보상 모델(GRM)의 발전은 추론 과정(Chain-of-Thought, CoT)의 길이를 확장하는 것이 평가의 신뢰성을 크게 향상시킨다는 것을 보여주었습니다. 그러나 현재 연구들은 주로 구조화되지 않은 길이 확장 방식을 사용하며, 다양한 추론 메커니즘의 효과 차이를 간과합니다. 여기에는 폭(Breadth)-CoT (즉, 다차원적 원리 적용)와 깊이(Depth)-CoT (즉, 실질적인 판단의 정확성)가 포함됩니다. 이러한 문제를 해결하기 위해, 우리는 Mix-GRM이라는 프레임워크를 소개합니다. Mix-GRM은 원시적인 추론 과정을 모듈화된 합성 파이프라인을 통해 구조화된 폭(B-CoT) 및 깊이(D-CoT) 추론으로 재구성하고, 이후 지도 학습(Supervised Fine-Tuning, SFT)과 검증 가능한 보상을 이용한 강화 학습(Reinforcement Learning with Verifiable Rewards, RLVR)을 통해 이러한 메커니즘을 내재화하고 최적화합니다. 포괄적인 실험 결과, Mix-GRM은 5개의 벤치마크에서 새로운 최고 성능을 달성했으며, 선도적인 오픈 소스 보상 모델보다 평균 8.2% 더 높은 성능을 보였습니다. 우리의 결과는 추론 방식에 따라 성능이 명확하게 달라짐을 보여줍니다. 즉, 주관적인 선호도 평가 작업에서는 폭(B-CoT)이, 객관적인 정확성 평가 작업에서는 깊이(D-CoT)가 더 효과적입니다. 따라서 추론 메커니즘과 작업의 적합성이 맞지 않으면 성능이 저하됩니다. 또한, RLVR은 스위칭 증폭기 역할을 하여, 모델이 스스로 추론 방식을 선택하여 작업 요구 사항에 맞추도록 하는 새로운 현상을 유도합니다. 합성된 데이터와 모델은 Hugging Face (

 )에서, 코드는 Github (

 )에서 제공됩니다.

Recent advancements in Generative Reward Models (GRMs) have demonstrated that scaling the length of Chain-of-Thought (CoT) reasoning considerably enhances the reliability of evaluation. However, current works predominantly rely on unstructured length scaling, ignoring the divergent efficacy of different reasoning mechanisms: Breadth-CoT (B-CoT, i.e., multi-dimensional principle coverage) and Depth-CoT (D-CoT, i.e., substantive judgment soundness). To address this, we introduce Mix-GRM, a framework that reconfigures raw rationales into structured B-CoT and D-CoT through a modular synthesis pipeline, subsequently employing Supervised Fine-Tuning (SFT) and Reinforcement Learning with Verifiable Rewards (RLVR) to internalize and optimize these mechanisms. Comprehensive experiments demonstrate that Mix-GRM establishes a new state-of-the-art across five benchmarks, surpassing leading open-source RMs by an average of 8.2\%. Our results reveal a clear divergence in reasoning: B-CoT benefits subjective preference tasks, whereas D-CoT excels in objective correctness tasks. Consequently, misaligning the reasoning mechanism with the task directly degrades performance. Furthermore, we demonstrate that RLVR acts as a switching amplifier, inducing an emergent polarization where the model spontaneously allocates its reasoning style to match task demands. The synthesized data and models are released at \href{https://huggingface.co/collections/DonJoey/mix-grm}{Hugging Face}, and the code is released at \href{https://github.com/Don-Joey/Mix-GRM}{Github}.