신뢰성을 기반으로 확장: 적응적 테스트 시간 스케일링을 위한 LLM의 신뢰도 보정

Scaling with Confidence: Calibrating Confidence of LLMs for Adaptive Test Time Scaling

강화 학습(RL)을 통해 대규모 언어 모델(LLM)을 훈련하면 추론 및 질의 응답 작업에서 성능이 크게 향상되었습니다. 그러나 기존의 RL 보상 설계는 일반적으로 응답의 정확성에 우선순위를 두며, 모델이 자신의 확신도를 정확하게 표현하도록 유도하는 것을 간과합니다. 이는 중요한 문제로 이어집니다. 즉, 성능 향상은 종종 신뢰도와 정확성 간의 불일치로 인해 발생하며, 이는 모델이 불확실할 때 과도한 자신감으로 환각을 일으키도록 유도합니다. 이러한 제한 사항을 해결하기 위해, 우리는 정확성, 보정 및 데이터 세트 기반 참조 정확성을 결합한 새로운 RL 알고리즘인 C3RL(Correctness and Confidence Calibration Reinforcement Learning)을 제안합니다. 8개의 텍스트 및 멀티모달 데이터 세트에 대한 종합적인 평가 결과, C3RL은 정확도를 희생하지 않고도 보정을 향상시키며, 성능 및 보정 지표 모두에서 현재 최고 수준의 방법보다 우수한 성능을 보여줍니다. C3RL에서 얻은 잘 보정된 언어적 확신도를 활용하여, 우리는 응답의 확신도를 기반으로 컴퓨팅 리소스를 할당하는 조정 가능한 추론 시간 전략인 CAS(Confidence-based Adaptive Test Time Scaling)를 추가로 소개합니다. 실험 결과, CAS는 도메인 내 및 도메인 외 데이터 세트 모두에서 다수 투표 방식을 능가하며, 추론 비용을 최대 12.33배까지 줄입니다. 우리는 C3RL과 CAS의 시너지 효과가 보다 안정적이고 효율적인 LLM을 배포하는 데 기여할 것이라고 믿습니다. 코드, 데이터 및 모델은 공개될 예정입니다.

Training large language models (LLMs) with reinforcement learning (RL) has significantly advanced their performance on reasoning and question-answering tasks. However, prevailing RL reward designs typically prioritize response correctness, neglecting to incentivize models to express their confidence accurately. This leads to a critical problem: performance gains are often accompanied by poor calibration between confidence and accuracy, misleading models to overconfidently hallucinate when uncertain. To address this limitation, we propose $\textbf{C}$orrectness and $\textbf{C}$onfidence $\textbf{C}$alibration $\textbf{R}$einforcement $\textbf{L}$earning ($\textbf{C3RL}$), a novel RL algorithm integrating correctness, calibration and dataset-informed reference accuracy rewards together. Comprehensive evaluation across 8 text and multimodal datasets demonstrates that C3RL enhances calibration without sacrificing accuracy, outperforming the current state-of-the-art method in both performance and calibration metrics. Utilizing the well-calibrated verbalized confidence from C3RL, we further introduce $\textbf{C}$onfidence-based $\textbf{A}$daptive Test Time $\textbf{S}$caling ($\textbf{CAS}$), an adjustable inference-time strategy that allocates computational resources based on response confidence. Experiments show that CAS surpasses majority voting on both in-domain and out-of-domain datasets while reducing the inference budget by up to 12.33 times. We believe the synergy of C3RL and CAS paves the way for deploying more reliable and resource-efficient LLMs. The code, data and models will be released.