ESPO: 조기 중단 기반 근접 정책 최적화

ESPO: Early-Stopping Proximal Policy Optimization

강화 학습 환경에서 대규모 언어 모델이 추론 과정 초기에 오류를 범하는 경우, 일반적인 알고리즘은 최대 수평까지 계속 생성하도록 강제하여 긍정적인 보상을 받지 못하는 토큰에 대한 계산 자원을 소모하고, 실패 이후의 노이즈로 인해 장점 추정치를 왜곡시킵니다. 본 논문에서는 ESPO(Early-Stopping Proximal Policy Optimization)를 제안합니다. ESPO는 시퀀스를 생성하는 동안 실시간으로 추론 오류를 감지하고 조기에 시퀀스 생성을 중단합니다. 각 생성 단계에서 ESPO는 이미 샘플링된 logits만을 사용하여 대체 후회를 계산하며, 평균화된 누적 후회가 예측값보다 크게 초과되면 시퀀스 생성을 중단합니다. 잘린(truncated) 시퀀스는 종료 보상을 갖는 흡수 상태로 간주되어, 추가적인 보상 모델이나 인간의 주석 없이 감지된 오류 단계 주변에 음의 시간차(TD) 오차를 집중시킵니다. 수학적 추론을 위해 학습된 DeepSeek-R1-Distill-Qwen-7B 모델에서 ESPO는 AIME~2024 (46.28% vs. 45.25%), AMC~2023 (85.83% vs. 82.94%), MATH-500 (87.42% vs. 85.43%)에서 PPO를 능가하는 성능을 보였으며, 총 생성 토큰 수를 20% 이상 절약했습니다.

When a large language model under reinforcement learning commits a wrong reasoning step early in a trajectory, standard algorithms force it to keep generating until the maximum horizon, spending compute on tokens that never receive positive reward and polluting advantage estimates with post-failure noise. We propose ESPO (Early-Stopping Proximal Policy Optimization), which detects trajectory failure on-the-fly and terminates rollouts early. At each generation step, ESPO computes a surrogate regret using only the logits already computed during sampling, and terminates when the smoothed cumulative regret significantly exceeds its estimated values. Truncated trajectories are treated as absorbing failure states with a terminal reward, concentrating negative temporal-difference (TD) errors near the detected failure step without any additional reward model or human annotation. On DeepSeek-R1-Distill-Qwen-7B trained for mathematical reasoning, ESPO surpasses PPO on AIME~2024 (46.28% vs. 45.25%), AMC~2023 (85.83% vs. 82.94%), and MATH-500 (87.42% vs. 85.43%), while saving more than 20% rollout tokens cumulatively.