극단 영역 정책 증류 (Extreme Region Policy Distillation)

Extreme Region Policy Distillation

대규모 언어 모델을 위한 강화 학습은 샘플 효율성과 최종 성능 사이의 근본적인 상충 관계에 직면합니다. 엄격한 온-정책 방법은 단일 업데이트 후 경로를 버리는 반면, 오프-정책 재사용은 기존의 신뢰 영역 기술이 주로 보수적인 최적화를 통해 완화하는 분포 불일치를 야기하며, 종종 풍부한 학습 신호를 충분히 활용하지 못합니다. 이를 조사하기 위해, 우리는 고정된 데이터에 대한 광범위한 오프-정책 업데이트를 수행했습니다. 우리의 실험 결과는 공격적인 다단계 최적화가 초기에는 빠른 이점을 가져다주지만, 과도한 업데이트는 경로 확률을 왜곡하고 엔트로피를 감소시켜 성능이 빠르게 정체됨을 보여줍니다. KL 제약을 강화하는 것은 천장을 낮출 뿐이며 저하 문제를 해결하지 못합니다. 이는 샘플 효율성과 KL 효율성을 분리하는 두 단계 프레임워크인 극단 영역 정책 증류 (ERPD)의 동기를 부여합니다. 첫 번째 단계는 고정된 데이터에서 약하게 제한된 오프-정책 최적화를 수행하여 학습 신호를 최대한 추출합니다. 결과적으로 얻어진 정책은 토큰 수준의 감독 신호를 제공합니다. 두 번째 단계에서는 이러한 신호를 신뢰 영역 제약 조건 하에 기본 정책으로 증류하여 유해한 드리프트를 제거하면서 유용한 신호를 유지합니다. 증류된 정책은 상당하게 작은 KL 발산 값을 가지면서도 동등하거나 더 나은 성능을 달성하며, 이는 첫 번째 단계의 많은 KL 발산이 실제 개선보다는 불필요한 드리프트에 사용되었음을 시사합니다. 더욱 중요한 점은 ERPD는 강력한 가이드(teacher)뿐만 아니라 약한 가이드도 수용할 수 있습니다. 공격적인 최적화가 더 나은 정책을 제공하지 못하는 경우에도, 심지어 저급의 가이드조차 대체적인 신호 구성 전략을 통해 효과적인 감독을 제공합니다. 우리는 ERPD를 수학적 추론에 적용하여 온-정책 학습이 정체되는 강력한 기본 모델에서 성능 향상을 확인했으며, 약한 가이드 사용 시에도 안정적인 개선을 보였습니다.

Reinforcement learning for large language models faces a fundamental trade-off between sample efficiency and asymptotic performance: strictly on-policy methods discard trajectories after a single update, while off-policy reuse introduces distribution mismatch that existing trust-region techniques mitigate primarily by enforcing conservative optimization, often leaving rich training signals underutilized. To investigate this, we perform extensive off-policy updates on fixed data. Our experiments reveal that aggressive multi-step optimization brings rapid initial gains, but excessive updates cause trajectory probabilities to deviate and entropy to collapse, with performance plateauing early. Tightening KL constraints merely lowers the ceiling without resolving the degradation. This motivates Extreme Region Policy Distillation (ERPD), a two-stage framework that decouples sample efficiency from KL efficiency. The first stage performs weakly constrained off-policy optimization on fixed data to maximally extract training signals. The resulting policy provides token-level supervision. In the second stage, we distill these signals into the base policy under trust-region constraints, filtering harmful drift while preserving useful signals. The distilled policy achieves comparable or better performance with substantially smaller KL divergence, indicating that much of the first-stage divergence was spent on unnecessary drift rather than genuine improvement. Crucially, ERPD accommodates both strong and weak teachers: when aggressive optimization yields no stronger policy, even degenerate teachers provide effective supervision via alternative signal construction strategies. We validate ERPD on mathematical reasoning, showing gains for strong base models where on-policy training plateaus, and reliable improvements with weak teachers.