다중 모드 대규모 언어 모델의 신뢰도 보정: 의료 분야 시각 질의 응답(VQA)을 활용한 경험적 연구

Confidence Calibration for Multimodal LLMs: An Empirical Study through Medical VQA

다중 모드 대규모 언어 모델(MLLM)은 의료 분야에서 큰 잠재력을 보여주지만, 종종 제시되는 신뢰도가 실제 정확도와 일치하지 않아 오진이나 올바른 조언의 간과를 초래할 수 있습니다. 본 연구는 의료 MLLM에서 정확도와 신뢰도의 관계에 대한 최초의 종합적인 분석을 제시합니다. 다중 전략 융합 기반 질의(MS-FBI) 방법과 보조 전문가 언어 모델 평가를 결합하여 의료 시각 질의 응답(VQA)에서의 신뢰도 보정을 개선하는 새로운 방법을 제안합니다. 실험 결과, 제안된 방법은 세 가지 의료 VQA 데이터셋에서 평균 40%의 Expected Calibration Error (ECE) 감소를 보여주며, MLLM의 신뢰성을 크게 향상시킵니다. 이러한 연구 결과는 의료 분야 MLLM에 대한 도메인 특화 보정의 중요성을 강조하며, AI 기반 진단을 위한 더욱 신뢰할 수 있는 솔루션을 제공합니다.

Multimodal Large Language Models (MLLMs) show great potential in medical tasks, but their elicited confidence often misaligns with actual accuracy, potentially leading to misdiagnosis or overlooking correct advice. This study presents the first comprehensive analysis of the relationship between accuracy and confidence in medical MLLMs. It proposes a novel method that combines Multi-Strategy Fusion-Based Interrogation (MS-FBI) with auxiliary expert LLM assessment, aiming to improve confidence calibration in Medical Visual Question Answering (VQA). Experiments demonstrate that our method reduces the Expected Calibration Error (ECE) by an average of 40\% across three Medical VQA datasets, significantly enhancing MLLMs' reliability. The findings highlight the importance of domain-specific calibration for MLLMs in healthcare, offering a more trustworthy solution for AI-assisted diagnosis.