비판에서 자신감으로: 언어 기반 양적 예측에서의 신뢰도 추정을 위한 PPO

From Critic to Confidence: PPO for Language-Based Quantitative Prediction with Confidence Estimation

대규모 언어 모델(LLM)은 비정형 데이터로부터 언어 기반의 양적 예측을 수행할 수 있지만, 환각 현상과 과신 오류에 취약하며, 따라서 모델이 무엇을 예측하는지 뿐만 아니라 언제 그 예측을 신뢰할 수 있는지를 아는 것이 중요합니다. 본 논문에서는 불확실성 추정을 위한 손실 예측과 액터-크리틱 PPO 미세 조정을 연결하는 강화 학습 프레임워크인 CARE-PPO를 소개합니다. CARE-PPO는 정확한 숫자 예측과 신뢰할 수 있는 신뢰도 신호를 언어 기반 양적 예측에서 공동으로 학습하도록 합니다. CARE-PPO는 예측 오차에 대한 함수로 정의된 '신뢰도 정렬 보상(Confidence-Aligned Reward for Estimation)'을 사용하여 액터에게 밀집된 오류 인지 피드백을 제공하고, 동시에 크리틱이 예측 품질과 일치하는 가치 함수를 학습하도록 유도합니다. 추론 과정에서 우리는 크리틱을 신뢰도 추정기로 재활용합니다. 의료 및 금융 분야의 두 가지 실제 작업과 Qwen-3 모델의 4B 및 8B 규모에 대해, CARE-PPO는 강력한 양적 예측 성능을 달성했으며, 액터-크리틱 방식이 로짓 기반 및 언어화된 기준보다 훨씬 더 정확하게 신뢰도를 추정합니다. 이러한 이점은 언어적 변화와 도메인 변화를 포함하는 현실적인 데이터 분포 외부 환경에서도 지속됩니다. 마지막으로, CARE-PPO는 일반적인 지시 따르기 프롬프트에 대한 작업별 과적합을 줄이며, 이는 지도 학습 방식보다 강화 학습 미세 조정의 광범위한 일반화 장점을 뒷받침합니다.

LLMs can perform language-based quantitative prediction from unstructured inputs, but remain susceptible to hallucinations and overconfident errors, making it critical to know not only what a model predicts, but when its predictions can be trusted. We introduce CARE-PPO, a reinforcement learning framework that establishes a connection between loss prediction for uncertainty estimation and actor-critic PPO fine-tuning, enabling joint learning of accurate numerical estimates and reliable confidence signals in language-based quantitative prediction. CARE-PPO uses a Confidence-Aligned Reward for Estimation, defined as a function of prediction error, to provide dense error-aware feedback to the actor while inducing the critic to learn a value function aligned with prediction quality. During inference, we repurpose the critic as a confidence estimator. Across two real-world tasks in healthcare and finance and two Qwen-3 model scales (4B and 8B), CARE-PPO achieves strong quantitative prediction performance, while producing significantly better-aligned confidence estimates through the critic than logit-based and verbalized baselines. These gains persist under realistic out-of-distribution settings across domains, spanning linguistic and domain shifts. Finally, CARE-PPO reduces task-specific overfitting on general instruction-following prompts, consistent with the broader generalization advantages of RL fine-tuning over supervised approaches.