분류 기반 접근 방식: LLM 강화 학습을 위한 범주형 평가기

Start Classifying: Categorical Critics for LLM Reinforcement Learning

대규모 언어 모델(LLM)의 근접 정책 최적화(PPO)는 일반적으로 평균 제곱 오차(MSE) 회귀를 사용하여 스칼라 값 목표에 대한 평가기를 훈련합니다. 스칼라 MSE는 조건부 기대 수익을 추정하는 데 통계적으로 유효하지만, 검증 가능한 보상을 사용하는 강화 학습(RLVR)에서 드물게 발생하는 이진 보상은 평가기 최적화 및 교정을 특히 중요하게 만듭니다. 작은 값 오류는 PPO가 사용하는 스칼라 장점을 직접 왜곡합니다. 본 연구에서는 분류 기반 훈련 목표가 이러한 평가기 신호를 개선할 수 있는지 조사합니다. HL-Gauss PPO는 스칼라 MSE 헤드를 이산화된 값 공간에 대한 범주형 예측기로 대체하며, 이는 smoothed HL-Gauss 목표에 대한 교차 엔트로피를 사용하여 학습됩니다. 출력은 표준 GAE 및 PPO에 사용되는 스칼라 기대값으로 디코딩되며, 따라서 액터 업데이트는 변경되지 않으며 분포적이지 않습니다. 수학적 추론, 도구 기반 수학, Search-R1 작업에서, 그리고 Qwen2.5와 Qwen3 아키텍처 모두에서 HL-Gauss PPO는 강력한 PPO 및 DAPO 기준 모델보다 일관되게 우수한 성능을 보입니다. 원-핫, 투-핫, 그리고 베르누이 두 이진 분류기를 사용하는 제어 실험은 더 큰 출력 헤드 또는 이진 분류만으로는 이러한 성능 향상을 설명할 수 없음을 보여줍니다. 일반적인 추론 프롬프트 모음에서 HL-Gauss는 Brier 점수와 교정 오류를 개선하고, 보다 대칭적이고 분산이 낮은 장점을 제공합니다. 이러한 결과는 범주형 값 학습을 RLVR에서 PPO 평가기를 최적화하는 효과적인 대체 방법으로 제시합니다.

Proximal Policy Optimization (PPO) for large language models typically trains its critic by mean-squared-error (MSE) regression on scalar value targets. Although scalar MSE is statistically valid for estimating the conditional expected return, sparse binary rewards in reinforcement learning with verifiable rewards (RLVR) make critic optimization and calibration especially consequential: small value errors directly distort the scalar advantages used by PPO. We study whether a classification-based training objective can improve this critic signal. HL-Gauss PPO replaces the scalar MSE head with a categorical predictor over a discretized value support, trained by cross-entropy against smoothed HL-Gauss targets. Its output is decoded to a scalar expectation for standard GAE and PPO; the actor update is therefore unchanged and is not distributional. Across mathematical reasoning, tool-augmented math, and Search-R1, and on both Qwen2.5 and Qwen3 backbones, HL-Gauss PPO consistently improves over strong PPO and DAPO baselines. Controls with one-hot, two-hot, and Bernoulli two-bin critics show that neither a larger output head nor binary classification alone explains the gains. On a common collection of reasoning prefixes, HL-Gauss improves Brier score and calibration error and yields more symmetric, lower-variance advantages. These results position categorical value learning as an effective optimization surrogate for PPO critics in RLVR.