환각 현상이 남기는 명확한 흔적: 검증기 기반 디코딩을 통한 선택적 객체 수정

Hallucinations Leave a Grounding Signature:Verifier-Guided Decoding for Selective Object Correction

대규모 시각-언어 모델(LVLM)은 종종 이미지에 존재하지 않는 객체를 환각적으로 생성하는 경향이 있습니다. 최근의 발전에도 불구하고, 기존의 완화 방법들은 여전히 신뢰할 수 있는 객체 수준의 검증 기능이 부족하여, 미세한 조정보다는 전체적인 개입을 수행하는 경우가 많습니다. 이는 시각적 이해를 저해하고, 응답 길이를 단축시키며, 실제로 존재하는 객체의 정보 제공 범위를 감소시킬 수 있습니다. 따라서 핵심 과제는 생성 과정에서 각 객체 언급이 신뢰할 수 있는 시각적 증거에 의해 뒷받침되는지 여부를 감지하여 환각 현상을 선택적으로 완화하는 것입니다. 그러나 출력의 자신감 지표는 다음 토큰의 가능성을 반영하며, 시각적 지원을 나타내지 않습니다. 이는 언어 모델의 선입견이 존재하지 않는 객체를 확실한 것으로 보이게 할 수 있습니다. 본 연구에서는 누락된 진단 정보가 Intrinsic Grounding Signature (IGS)라는 분산된 가중치 주의 패턴 형태로 인코딩되어 있으며, 이러한 자신감을 가진 환각 현상에 대해서도 유용한 정보를 제공한다는 것을 확인했습니다. IGS를 기반으로, 우리는 Verifier-Guided Decoding (VGD)라는 디코딩 프레임워크를 제안합니다. VGD는 경량 검증기를 사용하여 각 객체 언급을 검토하고, 위험도가 높은 것으로 판단되면 KV 캐시를 되돌리고, 해당 객체와 그 유의어를 억제하며, 영향을 받은 부분을 재생성합니다. VGD는 위험도가 높은 객체 언급에만 개입하므로, 객체 환각 현상을 줄이면서 모델의 원래 시각적 이해 능력과 실제로 존재하는 객체의 정보 제공 범위를 유지합니다. CHAIR 및 AMBER-G 데이터셋에서의 실험 결과, VGD는 최첨단 수준의 객체 환각 감소 성능을 달성했습니다. 구체적으로, @rec90 지표에서 VGD는 AMBER-G CHAIR를 43.6% 감소시키면서 실제로 존재하는 객체의 정보 제공 범위를 99.6% 유지하고, CHAIR-MSCOCO CHAIR$_i$/CHAIR$_s$를 각각 37.0%/30.4% 감소시켰으며, 응답 길이를 단축시키지 않았습니다.

Large vision-language models (LVLMs) often hallucinate objects that are absent from an image. Despite recent progress, existing mitigation methods still lack reliable object-level grounding diagnostics and therefore tend to apply coarse-grained interventions, which can impair visual understanding, shorten responses, and reduce coverage of genuinely grounded objects. The key challenge is thus to detect, during generation, whether each emerging object mention is supported by reliable visual evidence, so that hallucination can be mitigated selectively. Yet output confidence reflects next-token plausibility rather than visual support, allowing language priors to make absent objects appear certain. We show that the missing diagnostic evidence is encoded in an Intrinsic Grounding Signature (IGS), a distributed signed attention pattern that remains informative for such confident hallucinations. Based on IGS, we propose Verifier-Guided Decoding (VGD), a decoding framework in which a lightweight verifier examines each emerging object mention, rolls back the KV cache when the mention is identified as high risk, suppresses the object and its synonyms, and regenerates the affected continuation. Because VGD intervenes only on object mentions identified as high risk, it reduces object hallucination while preserving the model's original visual understanding and grounded object coverage. Experiments on CHAIR and AMBER-G show that VGD achieves state-of-the-art object hallucination reduction: at @rec90, it cuts AMBER-G CHAIR by 43.6\% while retaining 99.6\% of grounded-object coverage, and reduces CHAIR-MSCOCO CHAIR$_i$/CHAIR$_s$ by 37.0\%/30.4\% without shortening captions.