추론 아레나: 검증 가능한 보상이 부족할 때의 추적 토너먼트

Reasoning Arena: Trace Tournaments When Verifiable Rewards Fall Short

검증 가능한 보상(RLVR)을 이용한 강화 학습은 결과 기반 감독을 통해 대규모 언어 모델의 추론 능력을 향상시키는 주요 패러다임으로 자리 잡았습니다. 그러나 검증 가능한 보상은 종종 그룹 수준에서 유용한 정보를 제공하지 못합니다. 특정 프롬프트에 대한 모든 샘플 추적이 동일한 보상을 받는 경우, 그룹 상대적 우위 추정은 기울기 신호를 제공하지 못하는데, 이는 추적 간의 추론 품질 차이가 상당할 수 있기 때문입니다. 본 논문에서는 이러한 비다양성 문제를 해결하기 위해, 단순히 버리는 대신 해당 추적을 판별 시스템으로 전달하는 적응형 훈련 프레임워크인 Reasoning Arena를 제안합니다. Reasoning Arena는 최종 답변뿐만 아니라 추론 추적 자체를 비교하여 추적 토너먼트를 구성하고, 그룹 내의 미세한 선호도를 드러내어 추론 품질을 풍부한 상대적 보상 신호로 변환합니다. 효율적인 보상 추정을 위해, 모든 쌍을 완벽하게 비교하는 대신, 각 새로운 추적은 이전 생성된 추적의 작은 풀과 비교되어 상대적 순위를 효율적으로 설정합니다. 그런 다음 불완전한 비교 그래프에 Bradley-Terry 모델을 적용하여 2차원 pairwise 비교 없이 확장 가능한 강화 학습 통합을 가능하게 합니다. 실험 결과는 Reasoning Arena가 수학 및 코딩 평가 기준에서 평균적으로 RLVR 기본 성능보다 7.6% 더 우수한 성능을 보인다는 것을 보여줍니다. 본 방법은 그렇지 않으면 버려지는, 효과적인 기울기 업데이트를 제공하지 못하는 샘플들을 활용하여 학습 속도를 27%에서 41%까지 향상시키고, 생성 컴퓨팅 시간을 약 50% 절약하며, 전반적인 추론 성능을 크게 개선합니다.

Reinforcement learning with verifiable rewards (RLVR) has become a leading paradigm for improving the reasoning ability of large language models through outcome-based supervision. However, verifiable rewards frequently become uninformative at the group level: when all sampled traces of a given prompt receive identical rewards, group-relative advantage estimation provides no gradient signal, even though the traces may differ substantially in reasoning quality. We propose Reasoning Arena, an adaptive training framework that routes such non-diverse reward groups to a judge system instead of discarding them. Beyond examining the final answer, Reasoning Arena constructs trace tournaments, where reasoning traces are compared head-to-head to expose finer-grained preferences within the group, converting reasoning quality into rich relative reward signals. To make reward estimation efficient, rather than exhaustively comparing every pair, each new trace is evaluated against a small, dynamically updated pool of previously generated traces as anchors to efficiently establish a relative ranking. We then fit a Bradley-Terry model on the incomplete comparison graph, enabling scalable RL integration without quadratic pairwise comparisons. Empirical results demonstrate that Reasoning Arena consistently outperforms the RLVR baseline by 7.6% on average in competition mathematics and coding benchmarks. By converting otherwise wasted zero-advantage samples into useful gradient updates, our method accelerates training by 27% to 41%, saving nearly 50% of generation compute, and substantially improves overall reasoning performance.