언어 모델 추론에서의 재설정(Resets)을 활용한 기여도 분배

Credit Assignment with Resets in Language Model Reasoning

최근의 강화 학습 연구에서는 검증 가능한 보상 방법을 사용하여, 사전 학습된 언어 모델이 여러 단계로 구성된 추론 작업을 수행하도록 훈련되는데, 이때 결과 보상이 트레jectory 내의 모든 토큰에 균일하게 할당됩니다. 이러한 균일한 할당 방식은 성공 또는 실패에 기여한 특정 단계를 간과합니다. 기여도 분배를 개선하면 전체 트레jectory를 균일하게 업데이트하는 대신, 오류가 발생한 추론 단계에 대한 정교한 수정을 가능하게 하여 이러한 한계점을 극복할 수 있습니다. 재설정(Resets)은 그러한 간단한 메커니즘 중 하나이며, 중간 상태로 돌아가 반사실적 연속을 다시 샘플링함으로써 결과의 차이를 해당 시점에 이루어진 결정에 귀속시켜 더욱 정확한 기여도 분배를 가능하게 합니다. 본 연구에서는 두 가지 방법을 제안합니다. 첫 번째는 추론 단계에서 무작위로 선택된 상태에서 재설정을 수행하는 Random-Reset Policy Optimization (RRPO)이고, 두 번째는 모델이 자체적으로 잘못된 트레jectory 내의 오류가 발생한 단계를 찾아서 재설정하는 Self-Reset Policy Optimization (SRPO)입니다. 우리는 이러한 방법을 Conservative Policy Iteration (CPI) 프레임워크 내에서 분석합니다. CPI에 기여도 분배 오라클을 추가하여 개선 가능한 상태를 타겟팅하면, 무작위 재설정에 비해 증명 가능한 성능 향상을 얻을 수 있습니다. 다양한 모델과 추론 벤치마크에서 SRPO는 표준 GRPO 및 RRPO보다 일관되게 우수한 성능을 보였으며, 이는 외부 감독 없이 모델 자체만을 사용하여 자체적으로 위치한 재설정 지점에서 여러 개의 후속 연속을 샘플링하고 그 보상을 통해 학습했기 때문입니다.

Contemporary reinforcement learning with verifiable reward methods post-train language models on multi-step reasoning by assigning a single outcome reward uniformly across all tokens in a trajectory. Such uniform assignment ignores which steps contributed to success or failure. Improving credit assignment can address this limitation by enabling targeted refinement of faulty reasoning steps, rather than updating entire trajectories uniformly. Resets are one such simple mechanism, enabling more precise credit assignment by returning to an intermediate state and resampling counterfactual continuations, so that outcome differences can be attributed to decisions made at that point. We propose two such methods: Random-Reset Policy Optimization (RRPO), where reset states are drawn randomly from reasoning steps, and Self-Reset Policy Optimization (SRPO), where the model self-localizes the erroneous step in an incorrect trajectory and resets there. We analyze these methods within the Conservative Policy Iteration (CPI) framework. Extending CPI with a credit-assignment oracle that targets improvable states yields provable improvements over random resets. Across models and reasoning benchmarks, SRPO consistently outperforms standard GRPO and RRPO by sampling multiple suffix continuations at a self-localized reset and learning from their rewards, using only the model itself with no external supervision.