신뢰하되 검증하라: DAVinCI 소개 - 언어 모델의 주장 추론을 위한 이중 속성 부여 및 검증 프레임워크

Trust but Verify: Introducing DAVinCI -- A Framework for Dual Attribution and Verification in Claim Inference for Language Models

대규모 언어 모델(LLM)은 다양한 자연어 처리 작업에서 놀라운 유창성과 다재다능함을 보여주었지만, 여전히 사실 오류와 환각 현상에 취약합니다. 이러한 제한점은 의료, 법률, 과학적 커뮤니케이션과 같이 신뢰성과 검증 가능성이 중요한 고위험 분야에서 심각한 위험을 초래합니다. 본 논문에서는 LLM 출력의 사실적 신뢰성과 해석 가능성을 향상시키기 위해 설계된 이중 속성 부여 및 검증 프레임워크인 DAVinCI를 소개합니다. DAVinCI는 두 단계로 작동합니다. (i) 생성된 주장을 내부 모델 구성 요소 및 외부 소스로 연결하고, (ii) 함의 기반 추론 및 신뢰도 보정 방법을 사용하여 각 주장을 검증합니다. 우리는 FEVER 및 CLIMATE-FEVER를 포함한 여러 데이터 세트에서 DAVinCI를 평가하고, 표준 검증 전용 기준과 비교했습니다. 우리의 결과는 DAVinCI가 분류 정확도, 속성 부여 정확도, 재현율 및 F1 점수를 5~20% 향상시킨다는 것을 보여줍니다. 광범위한 분석 연구를 통해 증거 범위 선택, 재보정 임계값 및 검색 품질의 기여도를 분석했습니다. 또한 기존 LLM 파이프라인에 통합될 수 있는 모듈식 DAVinCI 구현을 공개합니다. DAVinCI는 속성 부여와 검증을 결합하여 감사 가능하고 신뢰할 수 있는 AI 시스템을 구축하기 위한 확장 가능한 방법을 제공합니다. 이 연구는 LLM이 강력할 뿐만 아니라 책임감도 갖도록 하기 위한 노력에 기여합니다.

Large Language Models (LLMs) have demonstrated remarkable fluency and versatility across a wide range of NLP tasks, yet they remain prone to factual inaccuracies and hallucinations. This limitation poses significant risks in high-stakes domains such as healthcare, law, and scientific communication, where trust and verifiability are paramount. In this paper, we introduce DAVinCI - a Dual Attribution and Verification framework designed to enhance the factual reliability and interpretability of LLM outputs. DAVinCI operates in two stages: (i) it attributes generated claims to internal model components and external sources; (ii) it verifies each claim using entailment-based reasoning and confidence calibration. We evaluate DAVinCI across multiple datasets, including FEVER and CLIMATE-FEVER, and compare its performance against standard verification-only baselines. Our results show that DAVinCI significantly improves classification accuracy, attribution precision, recall, and F1-score by 5-20%. Through an extensive ablation study, we isolate the contributions of evidence span selection, recalibration thresholds, and retrieval quality. We also release a modular DAVinCI implementation that can be integrated into existing LLM pipelines. By bridging attribution and verification, DAVinCI offers a scalable path to auditable, trustworthy AI systems. This work contributes to the growing effort to make LLMs not only powerful but also accountable.