Kestrel: 시각적 정보 기반의 자체 개선을 통해 LVLM의 환각 현상 완화

Kestrel: Grounding Self-Refinement for LVLM Hallucination Mitigation

대규모 시각-언어 모델(LVLM)은 점점 더 강력해지고 있지만, 다중 모드 작업에서 환각 현상을 일으키는 경향이 있으며, 이는 실제 적용에 큰 제약을 가져옵니다. 더 큰 모델의 경우 환각 현상을 방지하도록 LVLM을 훈련하는 데 드는 비용이 매우 높아지기 때문에, 훈련 과정이 필요 없는 방법은 저렴하고 유연한 해결책을 제공합니다. 그러나 디코딩 또는 도구 사용에 기반한 기존 접근 방식은 종종 제한적인 성능 향상과/또는 낮은 해석력을 보입니다. 본 논문에서는 명시적인 시각적 정보 기반 에이전트와 증거 기반의 자체 개선 메커니즘을 결합한, 훈련 과정이 필요 없는 LVLM 환각 현상 완화 프레임워크인 Kestrel을 제안합니다. 구체적으로, Kestrel은 먼저 명시적인 시각적 증거를 수집하고, 도구의 출력을 재사용 가능한 구조화된 텍스트 증거로 변환합니다. 다음으로, 수집된 증거를 LVLM 판단 모델을 사용하여 검증하고, 검증된 증거를 기반으로 답변을 반복적으로 자체 개선하여 과도한 수정의 위험을 줄입니다. 광범위한 실험 결과, Kestrel은 환각 현상 평가 벤치마크에서 강력한 기본 모델보다 성능이 향상되었으며 (예: POPE에서 평균 +3.31%, MME-Hallucination에서 +28.34% 향상, Qwen3-VL 사용), 환각 현상 진단 및 분석을 위한 투명한 검증 정보를 제공합니다. 예를 들어, 통합된 자체 개선 모듈과 시각적 정보 기반 에이전트는 POPE에서 평균 +2.0%의 성능 향상에 기여했습니다.

Large vision-language models (LVLMs) have become increasingly strong but remain prone to hallucinations in multimodal tasks, which significantly narrows their deployment. As training these LVLMs to avoid hallucinations becomes prohibitively expensive for larger models, training-free methods offer a cheap and flexible solution to this problem, yet existing approaches based on decoding or tool use often bring limited gains and/or weak interpretability. We propose Kestrel, a training-free framework for LVLM hallucination mitigation that combines an explicit visual-grounding agent with evidence-verified self-refinement mechanism. In detail, Kestrel first collects explicit visual evidence and converts tool outputs into reusable and structured textual evidence. Second, to take full advantage of these evidence, Kestrel verifies them via an LVLM judge for evidence checking, then iteratively self-refine answers based on verified evidence to reduce the risk of over-correction. Extensive experiments show that Kestrel improves performance over strong baselines across hallucination benchmarks (e.g., average +3.31% on POPE and +28.34 on MME-Hallucination with Qwen3-VL), while providing transparent verification traces for hallucination diagnosis and analysis -- e.g., both the integrated self-refinement module and grounding agent contributing an average +2.0% gain on POPE.