ACRL: 안정적인 강화 학습을 위한 훈련-추론 불일치 적응적 제어

ACRL: Adaptive Control of Training-Inference Discrepancy for Stable Reinforcement Learning

대규모 언어 모델(LLM)의 강화 학습(RL) 훈련은 종종 훈련과 추론 간의 불일치로 인해 불안정성을 겪습니다. 이러한 훈련-추론 불일치는 주로 훈련 엔진과 추론 엔진 간의 아키텍처적 차이점, 그리고 훈련 시 사용되는 높은 정밀도의 연산 방식과 추론 시 사용되는 낮은 정밀도 양자화 방식에서 비롯됩니다. 본 논문에서는 이러한 높은 훈련-추론 불일치로 인해 발생하는 훈련 불안정성 문제를 해결하기 위해, 불일치를 적응적으로 제어하는 원리와 방법을 제시합니다. 우리는 Adaptive Control Reinforcement Learning (ACRL)을 제안하는데, ACRL은 훈련-추론 불일치를 합리적인 범위 내에서 유지하여 안정적인 RL 훈련을 보장합니다. 또한 ACRL은 안정화 기능 외에도 정책 엔트로피를 증가시켜 탐색 능력을 향상시키고 정확도를 개선합니다. 실험 결과는 추론 엔진이 FP8 양자화를 사용하는 경우, ACRL이 훈련-추론 불일치를 합리적인 범위 내에서 유지하고 RL 훈련을 안정화시키는 것을 보여줍니다. 게다가 ACRL은 BF16 기준 성능에 못지않으면서도 중요 샘플링(IS) 수정 방식보다 더 나은 성능을 보입니다.

Reinforcement Learning (RL) training for Large Language Models (LLMs) often suffers from instability due to the discrepancy between training and inference. This training-inference discrepancy stems from two primary factors: an architectural separation between training and inference engines, and the use of low-precision quantization in inference versus higher-precision computation in training. To address training instability issues caused by high training-inference discrepancy, we present the principles and methods for its adaptive control. We propose Adaptive Control Reinforcement Learning (ACRL), which adaptively maintains the training-inference discrepancy within a reasonable range to ensure stable RL training. Beyond stabilization, ACRL inherently increases policy entropy, thereby enhancing exploration and improving accuracy. The experimental results show that when the inference engine utilizes FP8 quantization, ACRL consistently maintains the training-inference discrepancy within a reasonable range and stabilizes RL training. Furthermore, ACRL not only matches the accuracy of the BF16 baseline but also outperforms importance sampling (IS) fixes.