대규모 언어 모델의 문맥 내 환각 탐지를 위한 매니폴드 기반 샘플링

Manifold-based Sampling for In-Context Hallucination Detection in Large Language Models

대규모 언어 모델(LLM)은 사실과 다르거나 근거 없는 내용을 자주 생성하는데, 이를 일반적으로 '환각'이라고 합니다. 기존 연구에서는 디코딩 전략, 검색 증강, 그리고 지도 학습 미세 조정 등을 통해 환각 탐지를 연구해 왔습니다. 최근 연구 결과에 따르면, 문맥 학습(ICL)은 사실적 신뢰성에 상당한 영향을 미칠 수 있습니다. 그러나 기존의 ICL 데모 선택 방법은 종종 표면적인 유사성 휴리스틱에 의존하며, 작업 및 모델 전반에 걸쳐 제한적인 견고성을 보입니다. 본 논문에서는 동결된 LLM에서 추출된 잠재적 표현을 활용하여 문맥 내 데모 선택을 위한 매니폴드 기반 데모 샘플링 프레임워크인 MB-ICL을 제안합니다. MB-ICL은 로컬 매니폴드 구조와 클래스별 프로토타입 기하학을 함께 모델링하여, 학습된 프로토타입과의 근접성을 기준으로 데모를 선택합니다. 이는 단순히 어휘 또는 임베딩 유사성을 사용하는 것보다 더 효과적입니다. 사실 확인(FEVER) 및 환각 탐지(HaluEval) 벤치마크에서, MB-ICL은 대부분의 평가 설정에서 표준 ICL 선택 기준보다 뛰어난 성능을 보이며, 특히 대화 및 요약 작업에서 큰 성능 향상을 보였습니다. 본 방법은 온도 변화 및 모델 변동에 대해 견고하며, 이는 휴리스틱 검색 전략에 비해 향상된 안정성을 나타냅니다. 어휘 검색이 특정 질의응답 환경에서 경쟁력을 유지할 수 있지만, 본 연구 결과는 매니폴드 기반 프로토타입 선택이 LLM 파라미터를 수정하지 않고도 환각 탐지를 위한 신뢰성 있고 학습 비용이 적은 접근 방식임을 보여줍니다. 이는 개선된 ICL 데모 선택을 위한 체계적인 방향을 제시합니다.

Large language models (LLMs) frequently generate factually incorrect or unsupported content, commonly referred to as hallucinations. Prior work has explored decoding strategies, retrieval augmentation, and supervised fine-tuning for hallucination detection, while recent studies show that in-context learning (ICL) can substantially influence factual reliability. However, existing ICL demonstration selection methods often rely on surface-level similarity heuristics and exhibit limited robustness across tasks and models. We propose MB-ICL, a manifold-based demonstration sampling framework for selecting in-context demonstrations that leverages latent representations extracted from frozen LLMs. By jointly modeling local manifold structure and class-aware prototype geometry, MB-ICL selects demonstrations based on their proximity to learned prototypes rather than lexical or embedding similarity alone. Across factual verification (FEVER) and hallucination detection (HaluEval) benchmarks, MB-ICL outperforms standard ICL selection baselines in the majority of evaluated settings, with particularly strong gains on dialogue and summarization tasks. The method remains robust under temperature perturbations and model variation, indicating improved stability compared to heuristic retrieval strategies. While lexical retrieval can remain competitive in certain question-answering regimes, our results demonstrate that manifold-based prototype selection provides a reliable and training light approach for hallucination detection without modifying LLM parameters, offering a principled direction for improved ICL demonstration selection.