자기 해결 방식을 통한 학습: 검증 가능한 보상을 이용한 강화 학습에서의 자기 조건부 신용 할당

Learning from Own Solutions: Self-Conditioned Credit Assignment for Reinforcement Learning with Verifiable Rewards

검증 가능한 보상(verifiable rewards)을 활용한 강화 학습(RLVR)은 추론 작업에 대한 LLM 훈련에서 상당한 발전을 이루었지만, GRPO와 같은 대표적인 방법들은 모든 토큰에 균등하게 신용을 할당하여, 사소한 토큰에는 불필요한 그래디언트를 사용하고 중요한 추론 단계에는 충분한 신용을 부여하지 못합니다. 기존의 토큰 수준 신용 할당 방법은 모델 자체의 시뮬레이션을 넘어서는 추가적인 자원을 필요로 합니다. GRPO 변형 방식들은 프로세스 보상 모델이나 정답 정보를 활용합니다. 지식 증류(knowledge distillation)는 토큰별 발산 값을 통해 신용을 할당하지만, 외부 교사(On-Policy Distillation)나 특권 정보(On-Policy Self Distillation)를 필요로 합니다. 그러나 이러한 의존성은 순수한 RLVR 환경에서의 적용 가능성을 제한합니다. 우리는 모델이 자신의 검증된 경로에 기반하여 조건부 학습을 수행할 때, 원래 분포와 조건부 분포 간에 측정 가능한 토큰별 KL 발산이 발생한다는 것을 관찰했습니다. 또한, 검증된 경로로 구성된 자기 교사로부터 증류하는 방법은 여러 개의 검증된 경로가 존재하는 경우 실현 불가능한 가중 평균 해를 초래한다는 것을 증명했습니다. 우리는 이전에 언급된 KL 발산을 GRPO 그래디언트에 대한 곱셈 계수로 사용하는 SC-GRPO(Self-Conditioned GRPO)라는 새로운 방법을 제안합니다. 수학, 코드 및 에이전트 기반 작업을 포함하는 5개의 벤치마크에서 SC-GRPO는 GRPO보다 8.1% 더 우수하고 DAPO보다 5.9% 더 우수한 성능을 보이며, OOD(Out-of-Distribution) 성능 또한 향상되었습니다. 또한, SC-GRPO는 OPD보다 높은 성능을 달성했습니다.

Reinforcement learning with verifiable rewards (RLVR) has driven substantial progress in training LLMs for reasoning tasks, but representative methods such as GRPO assign uniform credit across all tokens, wasting gradient on routine tokens while under-crediting pivotal reasoning steps. Existing token-level credit assignment methods require resources beyond the model's own rollouts. GRPO variants rely on process reward models or ground-truth answers. Knowledge distillation assigns credit through per-token divergence but requires external teachers (On-Policy Distillation) or privileged information (On-Policy Self Distillation). However, these dependencies limit applicability in the pure RLVR setting. We observe that conditioning the model on its own verified trajectories induces a measurable per-token KL divergence between the original and conditioned distributions, and prove that distilling from a self-teacher constructed by verified trajectories leads to infeasible weighted-average solutions when multiple verified trajectories exist. We propose SC-GRPO (Self-Conditioned GRPO), which uses KL divergence mentioned before as a multiplicative weight on GRPO gradients. Across five benchmarks spanning math, code, and agentic tasks, SC-GRPO consistently outperforms 8.1% over GRPO and 5.9% over DAPO with stronger OOD performance. Moreover, SC-GRPO achieves higher performance than OPD.