본능 대 성찰: 다중 모드 대규모 모델에서 토큰 수준의 신뢰도와 언어적 신뢰도 통일

Instinct vs. Reflection: Unifying Token and Verbalized Confidence in Multimodal Large Models

다중 모드 대규모 언어 모델(MLLM)은 다양한 인식 및 추론 작업에서 뛰어난 성능을 보여주었습니다. 이러한 성공에도 불구하고, 실제 적용에서 모델의 신뢰성을 확보하기 위해서는 견고한 신뢰도 추정이 필수적입니다. 기존 연구는 주로 텍스트 기반 LLM에 초점을 맞추며, 종종 계산 비용이 많이 드는 자기 일관성 샘플링에 의존했습니다. 본 논문에서는 이러한 접근 방식을 다중 모드 환경으로 확장하고, MLLM의 응답 신뢰도 추정에 대한 종합적인 평가를 수행합니다. 우리의 분석 결과, 모델의 암묵적인 토큰 수준의 지지와 언어적 자기 평가 신뢰도 사이에 상당한 불일치가 존재한다는 것을 밝혀냈습니다. 이러한 불일치를 해결하기 위해, 우리는 이중 채널 신호를 병합하고 정확도를 추정하기 위한 채널 간 일관성을 활용하는 단조 신뢰도 융합 프레임워크를 제안합니다. 이후, 전체적인 편향을 수정하기 위해 순서를 유지하는 평균 정렬 단계를 적용하여, 선택적 예측을 위한 위험-보장 균형을 유지하면서도 보정을 향상시킵니다. 다양한 오픈 소스 및 상용 MLLM에 대한 실험 결과, 제안하는 방법은 일관되게 더 신뢰할 수 있는 신뢰도 추정치를 제공하며, 보정 및 오류 예측 성능을 향상시킵니다. 관련 코드는 https://github.com/Yunkaidang/Instinct-vs.-Reflection 에서 확인할 수 있습니다.

Multimodal Large Language Models (MLLMs) have demonstrated exceptional capabilities in various perception and reasoning tasks. Despite this success, ensuring their reliability in practical deployment necessitates robust confidence estimation. Prior works have predominantly focused on text-only LLMs, often relying on computationally expensive self-consistency sampling. In this paper, we extend this to multimodal settings and conduct a comprehensive evaluation of MLLMs' response confidence estimation. Our analysis reveals a significant instinct-reflection misalignment: the model's implicit token-level support frequently diverges from its verbal self-assessment confidence. To address this misalignment, we propose a monotone confidence fusion framework to merge dual-channel signals and cross-channel consistency to estimate correctness. Subsequently, an order-preserving mean alignment step is applied to correct global bias, which improves calibration while preserving the risk-coverage trade-off for selective prediction. Experiments on diverse open-source and closed-source MLLMs show that our method consistently yields more reliable confidence estimates and improves both calibration and failure prediction. Code will be available at https://github.com/Yunkaidang/Instinct-vs.-Reflection.