맥락 외 GRPO: 특권 정보 활용을 통한 어려운 문제 해결 능력 학습

Off-Context GRPO: Learning to Reason on Hard Problems using Privileged Information

검증 가능한 보상을 사용하는 강화 학습(RLVR)은 대규모 언어 모델의 추론 능력을 향상시킵니다. 하지만 기존 RLVR 방법은 어려운 문제에서 실패하는 경향이 있습니다. 모델이 올바른 해답을 생성하지 못할 경우, 훈련 신호가 extit{0}으로 떨어지기 때문입니다. 훈련 과정에서 해법의 일부와 같은 특권 정보를 제공하면, 모델을 {올바른 해답과 함께 0이 아닌 보상을 얻도록 유도하여} 이러한 학습 난관을 극복하는 데 도움이 될 수 있습니다. 우리는 이러한 과정을 extit{맥락 외(off-context)}라고 부릅니다. 이는 특권 정보가 포함된 훈련 프롬프트로부터 생성되지만, 목표는 해당 지침이 없는 원래 프롬프트에 의해 정의됩니다. 우리는 GRPO의 최소한으로 수정된 변형인 Off-Context GRPO (OC-GRPO)를 제안합니다. OC-GRPO는 안내된 실행 결과를 사용하지만, 중요도 보정 객관 함수를 적용하여 업데이트가 원래의 안내되지 않은 목표로 되돌아가도록 하여, 보정이 없는 안내 훈련으로 인해 발생하는 불안정성을 방지합니다. 실험적으로, 우리의 알고리즘은 표준적인 수학적 추론 벤치마크에서 평균적으로 3.9%의 절대적인 성능 향상(13.8%의 상대적인 이득)을 달성했으며, 이는 무시할 만한 추가 비용으로 이루어졌습니다.

Reinforcement learning with verifiable rewards (RLVR) improves reasoning in large language models. Yet, typical RLVR approaches fail on difficult problems: when a model cannot generate any correct solutions, it receives \textit{zero} learning signal. Providing privileged guidance during training, such as solution prefixes, can help overcome this learning cliff by steering the model towards {correct solutions with non-zero reward}. {We call these rollouts \textit{off-context}: they are generated from a training prompt that contains privileged guidance, while the target objective is defined by the original prompt without that guidance.} {We introduce} Off-Context GRPO (OC-GRPO), a minimally modified variant of GRPO that uses guided rollouts but applies an importance-corrected objective to steer the update back toward the original unguided objective, avoiding the mismatch that destabilizes uncorrected guided training. Empirically, our algorithm achieves a 3.9\% absolute improvement (13.8\% relative gain) over vanilla GRPO on average across standard mathematical reasoning benchmarks with negligible additional cost.