LLM은 불확실성을 명시적으로 표현해야 한다

LLMs Should Express Uncertainty Explicitly

대규모 언어 모델(LLM)은 회피, 검색, 검증과 같은 의사 결정에 불확실성이 중요한 영향을 미치는 환경에서 점점 더 많이 사용되고 있습니다. 대부분의 기존 방법은 불확실성을 생성 후에 추정해야 할 잠재적인 값으로 취급하지만, 모델이 학습하여 표현하도록 설계된 신호로 보지 않습니다. 본 연구에서는 불확실성을 제어 수단으로 활용하는 방법을 탐구합니다. 우리는 두 가지 상호 보완적인 인터페이스를 비교합니다. 첫 번째는 모델이 최종 답변에 대한 보정된 신뢰도를 구두로 표현하는 글로벌 인터페이스이고, 두 번째는 모델이 추론 과정에서 위험도가 높은 상태에 진입할 때 명시적인 <불확실> 마커를 출력하는 로컬 인터페이스입니다. 이러한 인터페이스는 서로 다른 이점을 제공하지만 상호 보완적입니다. 구두 신뢰도는 보정을 크게 향상시키고, 과신 오류를 줄이며, 검색을 보다 선택적으로 활용하는 강력한 전체 어댑티브 RAG 제어기를 제공합니다. 추론 시간의 불확실성 신호는 이전에 감지되지 않았던 실패를 생성 중에 명확하게 보여주고, 오답 커버리지를 개선하며, 효과적인 고-리콜 검색 트리거를 제공합니다. 또한, 본 연구의 결과는 두 인터페이스가 내부적으로 다르게 작동한다는 것을 보여줍니다. 구두 신뢰도는 기존의 불확실성 해독 방식을 주로 개선하는 반면, 추론 시간 신호는 더 광범위한 후반 레이어 재구성을 유도합니다. 이러한 결과들을 종합해 볼 때, LLM에서 효과적인 불확실성은 작업에 맞게 조정된 통신 방식으로 학습되어야 합니다. 즉, 최종 답변의 신뢰 여부를 결정하기 위한 글로벌 신뢰도와, 개입이 필요한 시점을 결정하기 위한 로컬 신호를 활용해야 합니다.

Large language models are increasingly used in settings where uncertainty must drive decisions such as abstention, retrieval, and verification. Most existing methods treat uncertainty as a latent quantity to estimate after generation rather than a signal the model is trained to express. We instead study uncertainty as an interface for control. We compare two complementary interfaces: a global interface, where the model verbalizes a calibrated confidence score for its final answer, and a local interface, where the model emits an explicit <uncertain> marker during reasoning when it enters a high-risk state. These interfaces provide different but complementary benefits. Verbalized confidence substantially improves calibration, reduces overconfident errors, and yields the strongest overall Adaptive RAG controller while using retrieval more selectively. Reasoning-time uncertainty signaling makes previously silent failures visible during generation, improves wrong-answer coverage, and provides an effective high-recall retrieval trigger. Our findings further show that the two interfaces work differently internally: verbal confidence mainly refines how existing uncertainty is decoded, whereas reasoning-time signaling induces a broader late-layer reorganization. Together, these results suggest that effective uncertainty in LLMs should be trained as task-matched communication: global confidence for deciding whether to trust a final answer, and local signals for deciding when intervention is needed.