의미적으로 다양한 탐색을 통한 강화된 효율적 추론

Reinforced Efficient Reasoning via Semantically Diverse Exploration

검증 가능한 보상을 사용하는 강화 학습(RLVR)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 데 효과적임이 입증되었습니다. 몬테카를로 트리 탐색(MCTS) 기반의 확장은 세밀한 세그먼트 수준의 기여도 할당을 가능하게 하는 트리 기반 추론 롤아웃을 제공함으로써 기존 RLVR(예: GRPO)을 개선합니다. 그러나 기존 방법들은 여전히 탐색 다양성이 제한적이고 추론이 비효율적이라는 문제를 겪고 있습니다. 이러한 문제를 해결하기 위해, 우리는 LLM을 위한 의미적으로 다양한 탐색을 통한 강화된 효율적 추론, 즉 ROSE를 제안합니다. 더 다양한 추론 탐색을 장려하기 위해, 제안하는 방법은 의미론적 엔트로피 기반 분기 전략과 ε-탐색 메커니즘을 결합합니다. 전자는 이미 샘플링된 추론 롤아웃에서 작동하여 의미론적 불확실성을 포착하고 의미론적 차이가 큰 분기점을 선택해 새로운 후속 추론 경로를 생성하며, 후자는 루트에서 확률적으로 추론 롤아웃을 시작하여 탐색 과정이 지나치게 국소화되는 것을 방지합니다. 효율성을 높이기 위해, 우리는 간결하고 정확한 추론에는 보상을 주고 불필요하게 긴 추론 체인에는 페널티를 부여하는 길이 인식 세그먼트 수준 어드밴티지 추정기를 설계했습니다. Qwen 및 Llama 모델을 사용한 다양한 수학적 추론 벤치마크에 대한 광범위한 실험을 통해 ROSE의 효과와 효율성을 검증했습니다. 코드는 https://github.com/ZiqiZhao1/ROSE-rl 에서 확인할 수 있습니다.

Reinforcement learning with verifiable rewards (RLVR) has proven effective in enhancing the reasoning of large language models (LLMs). Monte Carlo Tree Search (MCTS)-based extensions improve upon vanilla RLVR (e.g., GRPO) by providing tree-based reasoning rollouts that enable fine-grained and segment-level credit assignment. However, existing methods still suffer from limited exploration diversity and inefficient reasoning. To address the above challenges, we propose reinforced efficient reasoning via semantically diverse explorations, i.e., ROSE, for LLMs. To encourage more diverse reasoning exploration, our method incorporates a semantic-entropy-based branching strategy and an $\varepsilon$-exploration mechanism. The former operates on already sampled reasoning rollouts to capture semantic uncertainty and select branching points with high semantic divergence to generate new successive reasoning paths, whereas the latter stochastically initiates reasoning rollouts from the root, preventing the search process from becoming overly local. To improve efficiency, we design a length-aware segment-level advantage estimator that rewards concise and correct reasoning while penalizing unnecessarily long reasoning chains. Extensive experiments on various mathematical reasoning benchmarks with Qwen and Llama models validate the effectiveness and efficiency of ROSE. Codes are available at https://github.com/ZiqiZhao1/ROSE-rl.