RAG 기반 LLM의 준수 사실성(Conformal Factuality)은 얼마나 견고한가? 새로운 측정 방법 및 체계적인 분석

Is Conformal Factuality for RAG-based LLMs Robust? Novel Metrics and Systematic Insights

대규모 언어 모델(LLM)은 종종 환각 현상을 일으켜 지식 집약적인 응용 분야에서 신뢰성을 저해합니다. 검색 증강 생성(RAG) 및 준수 사실성 필터링은 이러한 한계를 극복할 수 있는 잠재적인 방법으로 제시되었습니다. RAG는 검색된 증거를 기반으로 응답을 생성하는 것을 목표로 하지만, 최종 결과가 정확하다는 통계적 보장은 제공하지 않습니다. 준수 사실성 필터링은 보류 데이터 세트를 사용하여 임계값을 조정하여 원자적 주장을 평가하고 필터링함으로써 분포에 의존하지 않는 통계적 신뢰성을 제공하지만, 최종 결과의 정보량은 보장되지 않습니다. 본 연구에서는 생성, 평가, 보정, 견고성 및 효율성 측면에서 RAG 기반 LLM의 준수 사실성의 신뢰성과 유용성을 체계적으로 분석합니다. 또한, 준수 필터링 하에서 작업 유용성을 더 잘 반영하는 정보량 인지(informativeness-aware) 새로운 측정 방법을 제안합니다. 세 가지 벤치마크 및 다양한 모델 패밀리를 대상으로 분석한 결과, (i) 준수 필터링은 높은 사실성 수준에서 유용성이 낮아지는 경향이 있는데, 이는 결과가 의미 없는 경우가 많기 때문이며, (ii) 준수 사실성 보장은 데이터 분포의 변화 및 교란 요소에 의해 견고하지 않으며, 이는 보정 데이터가 실제 사용 환경과 밀접하게 일치해야 한다는 제약을 의미합니다. 또한, (iii) 경량의 함의(entailment) 기반 검증기가 LLM 기반 모델 신뢰도 평가기보다 성능이 좋거나 동등한 성능을 보이면서도 100배 이상의 FLOP 연산량을 절약할 수 있다는 것을 확인했습니다. 전반적으로, 본 연구 결과는 사실성과 정보량 간의 상충 관계를 보여주고, 데이터 분포의 변화 및 교란 요소 하에서 준수 필터링 프레임워크의 취약성을 강조하며, 신뢰성, 견고성 및 유용성을 주요 지표로 하는 새로운 접근 방식의 필요성을 제기합니다. 또한, 신뢰성과 계산 효율성을 모두 갖춘 RAG 파이프라인을 구축하기 위한 실질적인 지침을 제공합니다.

Large language models (LLMs) frequently hallucinate, limiting their reliability in knowledge-intensive applications. Retrieval-augmented generation (RAG) and conformal factuality have emerged as potential ways to address this limitation. While RAG aims to ground responses in retrieved evidence, it provides no statistical guarantee that the final output is correct. Conformal factuality filtering offers distribution-free statistical reliability by scoring and filtering atomic claims using a threshold calibrated on held-out data, however, the informativeness of the final output is not guaranteed. We systematically analyze the reliability and usefulness of conformal factuality for RAG-based LLMs across generation, scoring, calibration, robustness, and efficiency. We propose novel informativeness-aware metrics that better reflect task utility under conformal filtering. Across three benchmarks and multiple model families, we find that (i) conformal filtering suffers from low usefulness at high factuality levels due to vacuous outputs, (ii) conformal factuality guarantee is not robust to distribution shifts and distractors, highlighting the limitation that requires calibration data to closely match deployment conditions, and (iii) lightweight entailment-based verifiers match or outperform LLM-based model confidence scorers while requiring over $100\times$ fewer FLOPs. Overall, our results expose factuality-informativeness trade-offs and fragility of conformal filtering framework under distribution shifts and distractors, highlighting the need for new approaches for reliability with robustness and usefulness as key metrics, and provide actionable guidance for building RAG pipelines that are both reliable and computationally efficient.