추론 모델에서 RLVR이 SFT보다 갖는 실질적인 이점: 효율적인 되돌아보기 학습

Provable Benefits of RLVR over SFT for Reasoning Models: Learning to Backtrack Efficiently

최근 대규모 언어 모델(LLM)의 발전은 사전 훈련된 기본 모델을 강화 학습으로 미세 조정하면 추론 시 성능이 크게 향상될 수 있음을 보여주었습니다. 본 연구에서는 강화 학습 미세 조정을 통해 순수 지도 학습(SFT) 방법에 비해 더 나은 추론 능력을 얻을 수 있는 이유를 이론적으로 분석합니다. 우리는 체인 오브 소트(Chain-of-Thought, CoT) 추론을 그래프 상의 경로 탐색 문제로 모델링하고, 검증 가능한 보상을 사용하는 강화 학습(RLVR) 방법과 전통적인 SFT 방법을 비교합니다. SFT는 부정적 예시 없이 최단 경로 데이터셋으로 훈련될 때, 효율적으로 되돌아가는 방법을 학습하지 못한다는 것을 증명했습니다. 반면, RLVR로 훈련된 모델은 결과 보상만 사용하여 막다른 골목에서 효율적으로 되돌아가는 방법을 학습할 수 있습니다. 이는 두 방법 간의 추론 시간 계산량에 지수적인 차이를 발생시키며, RLVR이 모델에게 추론 과정에서 어려운 결정을 내리는 위치를 학습하도록 유도하여 추론 시간 계산량을 더 효과적으로 배분할 수 있음을 보여줍니다. 마지막으로, RLVR 모델의 추론 과정을 분석하여 이를 활용하여 기본 모델을 훈련시켜 효율적인 되돌아보기 능력을 갖추도록 할 수 있음을 보입니다.

Recent advances in large language models (LLMs) have demonstrated that reinforcement fine-tuning of pretrained base models can lead to significant gains in reasoning performance at inference time. In this work, we theoretically analyze why reinforcement fine-tuning induces better reasoning ability than purely supervised fine-tuning (SFT) methods. We model chain-of-thought (CoT) reasoning as a pathfinding problem on graphs and compare the popular method of reinforcement learning with verifiable rewards (RLVR) against traditional SFT. We prove that SFT, when trained on golden shortest paths without negative examples, fails to learn how to efficiently backtrack. In contrast, an RLVR-trained model can learn how to efficiently backtrack from dead ends using only outcome reward. This leads to an exponential separation in inference-time compute between the two methods, and demonstrates that RLVR leads the model to learn the location of difficult decisions in a reasoning chain, ultimately allowing for better allocation of inference-time compute. Finally, we show that the reasoning traces of an RLVR model can be distilled to train a base model to backtrack efficiently as well.