LLM의 고차원 불확실성을 모호한 확률을 통해 표현하기

Verbalizing LLM's Higher-order Uncertainty via Imprecise Probabilities

대규모 언어 모델(LLM)에서 불확실성을 추출하는 것에 대한 요구가 증가하고 있지만, 경험적 증거는 LLM의 동작이 기존의 확률적 불확실성 프레임워크 하에서 개발된 추출 기술에 의해 항상 적절하게 설명되지 않는다는 것을 시사합니다. 이러한 불일치는 특히 모호한 질문 응답, 문맥 내 학습, 자기 성찰과 같은 상황에서 체계적인 오류를 초래합니다. 이를 해결하기 위해, 우리는 *모호한 확률*에 기반한 새로운 프롬프트 기반 불확실성 추출 기술을 제안합니다. *모호한 확률*은 고차원 불확실성을 표현하고 추출하기 위한 체계적인 프레임워크입니다. 여기서 1차 불확실성은 프롬프트에 대한 가능한 응답에 대한 불확실성을 나타내고, 2차 불확실성(불확실성에 대한 불확실성)은 근본적인 확률 모델 자체의 불확실성을 정량화합니다. 우리는 일반적인 프롬프트 및 후처리 절차를 도입하여 두 가지 차원의 불확실성을 직접 추출하고 정량화하며, 다양한 환경에서 그 효과를 입증합니다. 우리의 접근 방식은 LLM에서 보다 정확한 불확실성 보고를 가능하게 하여 신뢰성을 높이고 의사 결정 과정을 지원합니다.

Despite the growing demand for eliciting uncertainty from large language models (LLMs), empirical evidence suggests that LLM behavior is not always adequately captured by the elicitation techniques developed under the classical probabilistic uncertainty framework. This mismatch leads to systematic failure modes, particularly in settings that involve ambiguous question-answering, in-context learning, and self-reflection. To address this, we propose novel prompt-based uncertainty elicitation techniques grounded in \emph{imprecise probabilities}, a principled framework for repesenting and eliciting higher-order uncertainty. Here, first-order uncertainty captures uncertainty over possible responses to a prompt, while second-order uncertainty (uncertainty about uncertainty) quantifies indeterminacy in the underlying probability model itself. We introduce general-purpose prompting and post-processing procedures to directly elicit and quantify both orders of uncertainty, and demonstrate their effectiveness across diverse settings. Our approach enables more faithful uncertainty reporting from LLMs, improving credibility and supporting downstream decision-making.