이중 교정: 지식 및 추론 신뢰도를 교정하여 신뢰할 수 있는 LLM 개발

Double-Calibration: Towards Trustworthy LLMs via Calibrating Knowledge and Reasoning Confidence

대규모 언어 모델(LLM)에서 신뢰할 수 있는 추론은 환각 현상으로 인해 어려움을 겪습니다. 지식 그래프(KG)를 활용하여 LLM의 사실 정확도를 향상시키는 방법들이 있지만, 기존의 KG 기반 방법들은 검색된 증거와 LLM의 추론 과정에서 발생하는 인식론적 불확실성을 정량화하는 데 실패합니다. 이러한 격차를 해소하기 위해, 우리는 새로운 이중 교정 원칙에 기반한 DoublyCal 프레임워크를 제안합니다. DoublyCal은 경량화된 프록시 모델을 사용하여 먼저 KG 기반 증거를 생성하고, 동시에 교정된 증거 신뢰도를 함께 제공합니다. 이 교정된 증거는 블랙박스 LLM을 안내하여 최종 예측의 정확도를 높일 뿐만 아니라, 신뢰도 점수를 제공하며, 이는 지원 증거의 불확실성과 연결됩니다. 지식 집약적인 벤치마크를 사용한 실험 결과, DoublyCal은 낮은 토큰 비용으로 블랙박스 LLM의 정확도와 신뢰도 교정을 크게 향상시키는 것으로 나타났습니다.

Trustworthy reasoning in Large Language Models (LLMs) is challenged by their propensity for hallucination. While augmenting LLMs with Knowledge Graphs (KGs) improves factual accuracy, existing KG-augmented methods fail to quantify epistemic uncertainty in both the retrieved evidence and LLMs' reasoning. To bridge this gap, we introduce DoublyCal, a framework built on a novel double-calibration principle. DoublyCal employs a lightweight proxy model to first generate KG evidence alongside a calibrated evidence confidence. This calibrated supporting evidence then guides a black-box LLM, yielding final predictions that are not only more accurate but also well-calibrated, with confidence scores traceable to the uncertainty of the supporting evidence. Experiments on knowledge-intensive benchmarks show that DoublyCal significantly improves both the accuracy and confidence calibration of black-box LLMs with low token cost.