LLM 환각 현상에 대한 불확실성 추정기의 유용성 평가

Evaluating the Relevance of Uncertainty Estimators for LLM Hallucination

대규모 언어 모델(LLM)은 입력 또는 학습 데이터에 의해 뒷받침되지 않는 진술, 즉 '환각' 현상을 일으키기 쉬우며, 이는 LLM의 신뢰할 수 있는 활용을 방해합니다. 동시에, 모델의 확신도를 정량화하기 위한 다양한 불확실성 추정(UE) 방법이 제안되었으며, 이러한 방법들은 종종 모델 오류를 나타내는 지표로 간주됩니다. 그러나 불확실성과 환각 사이의 관계는 아직 충분히 규명되지 않았습니다. 본 연구에서는 LLM에서 불확실성 추정기와 환각 현상 간의 연관성에 대한 체계적인 실증적 연구를 수행합니다. 우리는 이러한 연관성을 가정하는 대신, 그 연관성이 언제 그리고 어느 정도까지 성립하는지 직접 평가합니다. 정보 이론 기반, 샘플링 기반 및 반사적 추정기를 포함한 다양한 불확실성 추정 방법을 고려하고, 환각 현상이 발생하는 다양한 환경에서의 동작을 분석합니다. 우리의 실험은 입력 충실도 위반인 내재적 환각과 학습 데이터에 대한 근거 없는 주장인 외재적 환각 모두를 다루며, RAGTruth 및 HalluLens를 포함한 네 가지 상호 보완적인 벤치마크를 사용합니다. 분석 결과, 연관성은 매우 가변적이며 종종 미약하며, 이는 환각 유형과 평가 대상 LLM에 따라 달라지는 것으로 나타났습니다. 이러한 결과는 불확실성을 환각의 직접적인 지표로 사용하는 것에 대한 의문을 제기하고, 불확실성이 유용한 정보를 제공하는 시점을 명확히 합니다.

Large language models (LLMs) are prone to hallucinations, i.e., statements unsupported by the input or training data, hindering reliable deployment. In parallel, numerous uncertainty estimation (UE) methods have been proposed to quantify model confidence and are often implicitly treated as proxies for model failure. However, the relationship between uncertainty and hallucinations remains insufficiently characterized. We present a systematic empirical study of the association between uncertainty estimators and hallucinations in LLMs. Rather than assuming this association, we evaluate directly when and to what extent it holds. We consider a diverse set of uncertainty estimators, including information-theoretic, sampling-based, and reflexive estimators, and examine their behavior across hallucination settings. Our experiments cover both intrinsic hallucinations (violations of input faithfulness) and extrinsic hallucinations (unsupported claims relative to training data), using four complementary benchmarks, including RAGTruth and HalluLens. We find that the association is highly variable and often weak, depending on the hallucination type and the LLM under evaluation. These results challenge the use of uncertainty as a direct signal of hallucination and clarify when it provides actionable information.