자기 인식 너머: LLM의 추론 및 검색에서의 불확실성 전파

Beyond Self-Knowledge: Propagating Uncertainty Across Reasoning and Retrieval in LLMs

검색 증강 생성(Retrieval-augmented generation)은 지식 집약적인 질문 답변 능력을 향상시키지만, 무분별한 검색은 관련 없는 정보를 가져오고 불필요한 계산을 초래할 수 있습니다. 본 연구에서는 블랙박스 언어 모델에서 얻은 명시적인 신뢰도 정보가 검색 경로 결정에 유용한 신호로 활용될 수 있는지 조사합니다. 제안하는 방법인 BeyondUncertainty는 먼저 구조화된 임시 답변과 신뢰도 추정치를 도출한 다음, 별도의 검증 데이터셋을 사용하여 설정하고 테스트 평가 전에 고정한 모델별 임계값을 적용합니다. 낮은 신뢰도를 가진 질문은 상위 5개의 TF-IDF 검색을 수행한 후 두 번째 답변 생성을 요청하는 반면, 높은 신뢰도를 가진 질문은 임시 답변을 직접 제공합니다. 본 연구에서는 6개의 질문 답변 벤치마크, 3가지 모델 패밀리 및 3가지 검색 정책을 사용하여 총 27,000개의 데이터 인스턴스를 평가했습니다. BeyondUncertainty는 평균 토큰 레벨 F1 점수가 0.483으로, 항상 검색하는 경우의 0.467과 검색을 전혀 수행하지 않는 경우의 0.401보다 우수했으며, 동시에 검색되는 문서를 항상 검색하는 방식에 비해 20.4% 줄였습니다. 각 데이터셋-모델 조합에서 검색을 사용하는 질문 수와 일치시켜 비교했을 때, BeyondUncertainty는 18개의 설정 중 17개에서 사후 랜덤 할당보다 우수한 성능을 보였으며, 평균적으로 F1 점수가 0.024만큼 향상되었습니다. 절대적인 확률로 해석하면 신뢰도 정보의 정확도가 좋지 않지만, 불확실성을 측정하는 것은 질문 레벨에서의 검색 효율성을 예측하는 데 약간의 도움(AUROC = 0.628)을 줄 수 있습니다. 그러나 추가적인 불확실성 측정 과정은 전체 토큰 사용량을 28.2% 증가시켜, 보다 선택적인 정보 획득과 엔드 투 엔드 토큰 효율성 사이의 균형을 보여줍니다.

Retrieval-augmented generation improves knowledge-intensive question answering, but indiscriminate retrieval can introduce irrelevant evidence and unnecessary computation. We investigate whether verbalized confidence from black-box language models can serve as an actionable signal for retrieval routing. Our method, BeyondUncertainty, first elicits a structured provisional answer and confidence estimate, then applies a model-specific threshold selected on held-out validation data and frozen before test evaluation. Low-confidence questions receive top-5 TF-IDF retrieval followed by a second answer call, whereas high-confidence questions return the provisional answer directly. We evaluate 27,000 policy instances across six QA benchmarks, three model families, and three retrieval policies. BeyondUncertainty achieves 0.483 mean token-level F1, compared with 0.467 for always retrieval and 0.401 for no retrieval, while reducing retrieved passages by 20.4\% relative to always retrieval. When matched on the number of questions routed to retrieval within each dataset-model cell, it outperforms a post-hoc random allocation in 17 of 18 settings, with an average gain of 0.024 F1. Although poorly calibrated as an absolute probability, probe uncertainty modestly predicts question-level retrieval benefit (AUROC = 0.628). However, the additional probe increases total token usage by 28.2\%, revealing a trade-off between more selective evidence acquisition and end-to-end token efficiency.