LLM 강화 학습에서의 균일한 토큰 레벨 신뢰 영역 초월: 위치 정보를 고려한 접근 방식

Beyond Uniform Token-Level Trust Region in LLM Reinforcement Learning

검증 가능한 보상을 활용한 강화 학습(RLVR)은 LLM의 추론 능력을 향상시키는 데 표준적인 방법이 되었습니다. 그러나 기존 PPO 스타일의 신뢰 영역 메커니즘은 모든 토큰에 대해 동일한 임계값을 적용함으로써 위치 정보에 무관하게 작동합니다. 이러한 개별적인 처리는 오토리그래시브 생성 방식과 두 가지 중요한 측면에서 충돌합니다. 첫째, 균일한 임계값은 오토리그래시브 비대칭성을 고려하지 못하여 초기 단계의 편차는 누적된 시퀀스 수준의 드리프트를 야기하고, 이는 고정된 임계값이 초기에 발생한 작은 편차를 제대로 제어하지 못하게 하고, 후반 단계의 탐색을 지나치게 제한합니다. 둘째, 토큰 레벨의 편차를 개별적으로 평가하는 것은 누적된 접두사 드리프트를 간과하여, 조건부 히스토리가 얼마나 정책 실행 경로에서 벗어났는지에 관계없이 동일한 편차 허용량을 부여합니다. 이러한 한계를 해결하기 위해, 우리는 CPPO(Cumulative Prefix-divergence Policy Optimization)라는 토큰 레벨 마스킹 규칙을 제안합니다. 이는 두 가지 결합된 메커니즘을 통해 유한한 시간 범위 내의 정책 개선 경계에 맞춰 업데이트를 수행합니다. 첫째, 위치 가중치를 적용한 임계값은 영향이 더 오래 지속되는 초기 위치에서는 더 엄격한 제한을 적용하고, 후반 단계 토큰에 대해서는 제약을 완화합니다. 둘째, 누적된 접두사 예산은 과거의 편차를 추적하여, 접두사 경로를 따라 발생하는 오류의 누적을 방지하기 위해 추가적인 토큰 레벨의 편차를 동적으로 제한합니다. 실험 결과, CPPO는 학습 안정성을 향상시키고 다양한 모델 크기에서 추론 정확도를 크게 개선하는 것으로 나타났습니다.

Reinforcement learning with verifiable rewards (RLVR) has become standard for improving LLM reasoning. However, existing PPO-style trust-region mechanisms remain position-agnostic by enforcing uniform thresholds across all tokens independently. This pointwise treatment conflicts with autoregressive generation in two critical ways. First, uniform thresholds ignore autoregressive asymmetry. Early-stage deviations produce compounding sequence-level drift, causing static thresholds to under-regulate early divergence and excessively constrain late-stage exploration. Second, evaluating token-level divergence in isolation overlooks cumulative prefix drift, granting the same divergence allowance regardless of how far the conditioning history has already deviated from the rollout policy. To address this limitation, we propose CPPO (Cumulative Prefix-divergence Policy Optimization), a token-level masking rule that aligns updates with a finite-horizon policy-improvement bound via two coupled mechanisms. First, a position-weighted threshold imposes stricter limits at early positions whose effects persist longer, relaxing constraints for late-stage tokens. Second, a cumulative prefix budget tracks historical deviations, dynamically restricting further token-level deviation to prevent compounding errors along the prefix. Empirically, CPPO enhances training stability and significantly improves reasoning accuracy across various model scales.