RREDCoT: 추론 모델을 위한 세그먼트 레벨 보상 재분배

RREDCoT: Segment-Level Reward Redistribution for Reasoning Models

최근의 추론 언어 모델 발전은 강화 학습(RL) 기반 미세 조정을 통해 이루어졌습니다. 대부분의 경우, 이러한 모델들은 체인 오브 쏘트(Chain-of-Thought, CoT) 과정을 생성하도록 유도하기 위해 Group Relative Policy Optimization (GRPO) 알고리즘 또는 이의 변형을 사용합니다. 최종 답변은 CoT 과정이 완료된 후에만 검증될 수 있으며 보상이 부여되므로, 이는 지연된 보상 문제를 야기합니다. GRPO 및 그 변형은 표준 RL에서 몬테 카를로 방법과 상응하며, 높은 분산을 가지는 것으로 알려져 있습니다. 이 문제에 대한 가능한 해결책은 크레딧 할당을 통한 보상 재분배이며, 이는 원하는 솔루션 도달에 중요한 CoT 과정의 세그먼트에 더 높은 가중치를 부여하여 강조하는 방식입니다. 몬테 카를로 샘플링은 중간 상태 값을 편향되지 않은 방식으로 추정하는 데 사용될 수 있지만, 계산 비용이 높아 긴 문맥에서 고해상도로 크레딧 할당을 수행하는 데 적합하지 않습니다. 본 논문에서는 모델 자체를 사용하여 추가적인 생성을 하지 않고 최적의 보상 재분배를 근사하는 RREDCoT (Reward REDistribution for Chain of Thoughts) 방법을 소개합니다. 저희 방법이 몬테 카를로 샘플링 및 다양한 설명 기법과 비교하여 갖는 장점을 분석하고, CoT 과정의 세그먼트화 및 상태 값 추정과 같은 재분배 구축과 관련된 여러 측면을 심층적으로 연구합니다.

Recent advancements in reasoning language models have been driven by Reinforcement Learning (RL) fine-tuning. Most often, these rely on the Group Relative Policy Optimization (GRPO) algorithm or modifications thereof to steer the models to produce Chain-of-Thought (CoT) traces. The final answer can only be verified, and the reward assigned, after the CoT trace is complete, making it a delayed reward problem. GRPO and its modifications correspond to Monte Carlo methods in standard RL, which are known to suffer from high variance. A possible solution to this problem is the redistribution of rewards through credit assignment, where segments of the CoT trace that are important for arriving at the desirable solution are emphasized by assigning a higher reward. While Monte Carlo sampling can be used to provide an unbiased estimate of intermediate state values, its computational overhead makes it unsuitable for train-time credit assignment in long contexts at high granularity. We introduce RREDCoT (Reward REDistribution for Chain of Thoughts), which utilizes the model itself to approximate the optimal reward redistribution without additional generation. We investigate the advantages of our method compared to MC sampling and several attribution methods. We further analyze several aspects relevant to the construction of the redistribution such as segmentation of CoT traces and state value estimation.