분산을 넘어: 희귀 이벤트 증폭 및 양방향 페어링을 통한 프롬프트 효율적인 강화 학습 기반 언어 모델 학습

Beyond Variance: Prompt-Efficient RLVR via Rare-Event Amplification and Bidirectional Pairing

검증 가능한 보상을 사용하는 강화 학습(RLVR)은 대규모 언어 모델을 결정적인 결과 추론 작업에 훈련하는 데 효과적입니다. 이전 연구에서는 RLVR이 적은 수의 프롬프트로도 작동한다는 것을 보여주었지만, 프롬프트 선택은 종종 훈련 정확도의 분산에만 의존하여 불안정한 최적화 방향과 약한 일반화 성능을 초래합니다. 본 연구에서는 프롬프트 선택을 메커니즘 수준에서 재검토하고, 효과적인 미니 배치는 (i) 신뢰할 수 있는 긍정적 기준점과 (ii) 희귀한 실패로부터 명시적인 부정적 학습 신호를 모두 제공해야 한다고 주장합니다. 이러한 원칙에 따라, 각 업데이트마다 '긍정-부정 페어링'을 제안합니다. 즉, $q^{+}$(낮은 성공률)로 표현되는 어렵지만 해결 가능한 프롬프트와 $q^{-}$(높은 성공률이지만 완벽하지 않은)로 표현되는 쉬우면서도 취약한 프롬프트를 샘플링합니다. 추가적으로, 이중 가중치 GRPO(Weighted GRPO)를 도입하여, 각 페어 수준에서 이진 결과를 재가중하고, 그룹 정규화된 이점을 사용하여 $q^{+}$에서 발생하는 희귀한 성공을 강조하여 강력한 긍정적 지침을 제공하고, $q^{-}$에서 발생하는 희귀한 실패를 강력한 부정적 패널티로 변환합니다. 이러한 양방향 신호는 성공과 실패 모두에 대한 유용한 학습 피드백을 제공하여 탐색을 억제하지 않고 샘플 효율성을 향상시킵니다. Qwen2.5-Math-7B 모델에서, 업데이트당 단일 페어링된 미니 배치를 사용하는 방법이 일반적으로 사용되는 분산 기반 선택 휴리스틱을 통해 두 개의 프롬프트를 선택하는 GRPO 기준보다 일관되게 우수한 성능을 보였습니다. AIME~2025 Pass@8은 16.8에서 22.2로, AMC23 Pass@64는 94.0에서 97.0으로 개선되었으며, 1209개의 훈련 프롬프트 풀에서 훈련된 대규모 RLVR과 경쟁력 있는 성능을 유지했습니다. 유사한 개선 효과가 Qwen2.5-Math-7B-Instruct 모델에서도 관찰되었습니다.

Reinforcement learning with verifiable rewards (RLVR) is effective for training large language models on deterministic outcome reasoning tasks. Prior work shows RLVR works with few prompts, but prompt selection is often based only on training-accuracy variance, leading to unstable optimization directions and weaker transfer. We revisit prompt selection from a mechanism-level view and argue that an effective minibatch should provide both (i) a reliable positive anchor and (ii) explicit negative learning signals from rare failures. Based on this principle, we propose \emph{positive--negative pairing}: at each update, we sample a hard-but-solvable $q^{+}$ and an easy-but-brittle prompt $q^{-}$(high success rate but not perfect), characterized by low and high empirical success rates under multiple rollouts. We further introduce Weighted GRPO, which reweights binary outcomes at the pair level and uses group-normalized advantages to amplify rare successes on $q^{+}$ into sharp positive guidance while turning rare failures on $q^{-}$ into strong negative penalties. This bidirectional signal provides informative learning feedback for both successes and failures, improving sample efficiency without suppressing exploration. On Qwen2.5-Math-7B, a single paired minibatch per update consistently outperforms a GRPO baseline that selects two prompts via commonly used variance-based selection heuristics: AIME~2025 Pass@8 improves from 16.8 to 22.2, and AMC23 Pass@64 from 94.0 to 97.0, while remaining competitive with large-scale RLVR trained from a pool of 1209 training prompts. Similar gains are observed on Qwen2.5-Math-7B-Instruct.