비동기 RLHF를 위한 노후화(Staleness)와 학습률 스케일링 법칙

Staleness-Learning Rate Scaling Laws for Asynchronous RLHF

높은 처리량을 가진 강화학습 기반 인간 피드백(RLHF) 시스템에서는 종종 정책 최적화 과정에서 획득된 데이터를 사용하여 학습을 진행하는데, 이로 인해 학습 시점에서 데이터가 이미 노후화될 수 있습니다. 본 연구에서는 비동기 GRPO (Generalized Proximal Policy Optimization) 알고리즘에서 이러한 노후화 현상이 미치는 영향을 분석합니다. 우리는 GRPO의 대체 목적 함수에 행동 정책을 명시적으로 포함시키고, 학습자가 사용하는 대체 기울도(surrogate gradient mapping)와 분포 의존형 전체 목표 함수의 실제 미분 값 간의 차이를 구분합니다. 지역적 제한성, 분포적 매끄러움, 그리고 행동 정책의 매끄러움이라는 가정 하에, 노후화된 데이터가 각 단계별로 O(S * eta) 크기의 대체 기울도 편향을 발생시키다는 것을 보입니다 (여기서 S는 최대 노후화 지연 시간이고, eta는 학습률). 또한, 배치 수준의 클리핑 반경 내에서 주기적인 변화량이 유지될 때, 시스템 붕괴는 주로 누적된 학습자 드리프트 T * eta에 의해 결정되는 반면, 노후화 데이터 제약 조건이 활성화되면 안정성은 명시적으로 S * eta에 의존한다는 조건부 붕괴 시간 스케일링 법칙을 유도했습니다. 이러한 결과는 호라이즌(horizon) 제한 환경에서 최대 안정 학습률이 노후화 정도에 약하게만 영향을 받는 것처럼 보이는 이유를 설명합니다: eta << min{R_batch / (S * G_upd), R_crit / (T * G_upd)}.

High-throughput RLHF systems often decouple rollout generation from policy optimization, leading to the use of stale rollouts during learner updates. In this work, we study the effect of such staleness in asynchronous GRPO. We make the behavior policy explicit in the GRPO surrogate objective and distinguish between the surrogate-gradient mapping used by the learner and the true total derivative of a distribution-dependent population objective. Under assumptions of local boundedness, distributional smoothness, and behavior-policy smoothness, we show that stale rollouts introduce a per-step surrogate-gradient bias of order O(S * eta), where S denotes the maximum rollout lag and eta denotes the learning rate. We further derive a conditional collapse-time scaling law: when within-cycle drift remains below a batch-level clipping radius, collapse is governed primarily by cumulative learner drift T * eta; when the stale-rollout constraint is active, stability instead depends explicitly on S * eta. This yields a two-constraint stability condition eta << min{R_batch / (S * G_upd), R_crit / (T * G_upd)}, explaining why the maximum stable learning rate may appear weakly dependent on staleness in the horizon-limited regime.