LLM의 불확실성 분석: 구조적 이해

The Anatomy of Uncertainty in LLMs

대규모 언어 모델(LLM)이 특정 응답에 대해 불확실성을 느끼는 이유를 이해하는 것은 안정적인 시스템 구축에 매우 중요합니다. 현재의 접근 방식은 단일 불확실성 점수를 제공하거나 고전적인 Aleatoric-Epistemic 이분법에 의존하는데, 이는 생성 모델 개선을 위한 실질적인 통찰력을 제공하지 못합니다. 최근 연구에서도 이러한 방법만으로는 LLM의 불확실성을 충분히 이해하기 어렵다는 점이 밝혀졌습니다. 본 연구에서는 LLM의 불확실성을 세 가지 뚜렷한 의미론적 구성 요소로 분해하는 불확실성 분해 프레임워크를 제안합니다. (i) 모호한 프롬프트에서 발생하는 입력의 모호성, (ii) 부족한 파라미터 증거로 인한 지식 격차, (iii) 확률적 샘플링에서 비롯되는 디코딩의 무작위성이 이에 해당합니다. 다양한 실험을 통해 모델 크기와 작업에 따라 이러한 구성 요소의 중요도가 달라지는 것을 보여줍니다. 본 프레임워크는 LLM의 신뢰성을 평가하고 환각 현상을 감지하는 데 도움이 되며, 이를 통해 목표 지향적인 개선과 더욱 신뢰할 수 있는 시스템 구축이 가능합니다.

Understanding why a large language model (LLM) is uncertain about the response is important for their reliable deployment. Current approaches, which either provide a single uncertainty score or rely on the classical aleatoric-epistemic dichotomy, fail to offer actionable insights for improving the generative model. Recent studies have also shown that such methods are not enough for understanding uncertainty in LLMs. In this work, we advocate for an uncertainty decomposition framework that dissects LLM uncertainty into three distinct semantic components: (i) input ambiguity, arising from ambiguous prompts; (ii) knowledge gaps, caused by insufficient parametric evidence; and (iii) decoding randomness, stemming from stochastic sampling. Through a series of experiments we demonstrate that the dominance of these components can shift across model size and task. Our framework provides a better understanding to audit LLM reliability and detect hallucinations, paving the way for targeted interventions and more trustworthy systems.