비율-분산 정규화 강화 학습 정책 최적화

Ratio-Variance Regularized Policy Optimization

기존의 온정책 강화 학습은 신뢰 영역을 강제하기 위해 휴리스틱 기반의 클리핑 방식을 사용하지만, 이는 높은 보상을 제공하는 업데이트를 무차별적으로 잘라내어 심각한 성능 저하를 초래합니다. 본 논문에서는 정책 비율의 분산을 명시적으로 제한함으로써, 신뢰 영역 제약 조건에 대한 체계적인 근사 방법을 제시하며, 이로써 이진 형태의 강제 클리핑 방식이 필요 없도록 합니다. 이러한 접근 방식은 분포적 '소프트 브레이크' 역할을 하여 새로운 발견으로부터 중요한 기울기 정보를 유지하는 동시에, 오래된 오프라인 데이터를 자연스럽게 가중치를 낮추고 재사용할 수 있도록 합니다. 본 논문에서는 비율-분산 정규화 정책 최적화 (R²VPO) 알고리즘을 제안하며, 이는 원형-이중(primal-dual) 최적화 프레임워크를 통해 이러한 제약을 구현합니다. 7가지 크기의 LLM 모델과 빠른/느린 추론 방식, 그리고 10가지 로봇 제어 작업을 포함한 광범위한 실험 결과는 제안된 접근 방식의 일반성을 입증합니다. R²VPO는 수학적 추론 벤치마크에서 상당한 성능 향상을 보여주었으며, 특히 작은 모델에서 더욱 두드러진 개선 효과를 보였습니다. 또한, 샘플 효율성을 크게 향상시켰습니다. 더욱이, 희소 보상 및 동적 환경을 포함하는 연속 제어 영역에서 PPO 기반 알고리즘보다 일관되게 우수한 성능을 나타냈습니다. 이러한 결과들은 비율-분산 정규화가 안정적이고 데이터 효율적인 정책 최적화를 위한 체계적인 기반임을 보여줍니다.

Standard on-policy reinforcement learning relies on heuristic clipping to enforce trust regions, but this mechanism imposes a severe cost by indiscriminately truncating high-return yet high-divergence updates. We demonstrate that explicitly constraining the policy ratio variance provides a principled local approximation to trust-region constraints, eliminating the need for binary hard clipping. By acting as a distributional ``soft brake'', this approach preserves critical gradient signals from novel discoveries while naturally down-weighting and enabling the reuse of stale, off-policy data. We introduce ${\bf R}^2{\bf VPO}$ (Ratio-Variance Regularized Policy Optimization), which implements this constraint via a primal-dual optimization framework. Extensive evaluations across $7$ LLM scales, spanning both fast and slow reasoning paradigms, and $10$ robotic control tasks demonstrate the generality of the proposed approach. R$^2$VPO achieves substantial performance gains on mathematical reasoning benchmarks, with particularly pronounced improvements on smaller models, while significantly improving sample efficiency. Furthermore, it consistently outperforms PPO baselines in continuous control domains, particularly in sparse-reward and dynamic environments. Together, these findings establish ratio-variance regularization as a principled foundation for stable and data-efficient policy optimization.