루브릭 기반 프로세스 보상을 통한 단계별 모델 라우팅

Rubric-Guided Process Reward for Stepwise Model Routing

단계별 모델 라우팅은 각 추론 단계를 적합한 모델에 할당하여 대규모 추론 모델(LRM)의 효율성을 향상시킵니다. 최근 연구에서는 라우팅을 순차적 의사 결정 프로세스로 정의하고 강화 학습을 통해 라우터를 훈련합니다. 그러나 이러한 방법들은 라우팅을 프로세스로 모델링하지만 여전히 결과 보상을 사용하여 라우터를 감독합니다. 이러한 결과 보상은 최종 답변의 정확성만을 반영하며 중간 라우팅 결정에 대한 평가를 제공하지 못하여 성능과 일반화 능력을 저하시킬 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 단계별 모델 라우팅을 위한 루브릭 기반 프로세스 보상 프레임워크인 RoRo를 제안합니다. RoRo는 먼저 다양한 라우팅 경로를 수집하고 결과, 비용 및 프로세스 품질을 기준으로 선호 쌍을 구성합니다. 그런 다음, Rubricor는 쿼리별 평가 루브릭을 생성하고 Judge는 이 루브릭 하에서 라우팅 경로를 평가하도록 교차 최적화를 통해 훈련됩니다. 이렇게 생성된 프로세스 보상은 결과 보상과 결합되어 GRPO를 통해 라우팅 정책을 최적화합니다. 동일 패밀리 및 서로 다른 패밀리를 포함한 다섯 가지 추론 벤치마크에 대한 실험 결과, RoRo는 강력한 기준 모델보다 일관되게 우수한 성능을 보이며 더 나은 정확도와 비용 효율성을 달성했습니다.

Stepwise model routing improves the efficiency of Large Reasoning Models (LRMs) by assigning each reasoning step to a suitable model. Recent methods formulate routing as a sequential decision process and train the router with reinforcement learning. However, although they model routing as a process, they still supervise the router with outcome rewards. Such rewards only reflect final answer correctness and fail to evaluate intermediate routing decisions, which can weaken performance and generalization. To address this gap, we propose RoRo, a rubric-guided process reward framework for stepwise model routing. RoRo first collects diverse routing trajectories and constructs preference pairs based on outcome, cost, and process quality. It then trains a Rubricor to generate a query-specific evaluation rubric and a Judge to score routing trajectories under this rubric through alternating optimization. The resulting process rewards are combined with outcome rewards to optimize the routing policy via GRPO. Experiments on five reasoning benchmarks under both same-family and cross-family settings show that RoRo consistently outperforms strong baselines and achieves better accuracy and cost trade-offs.