ADAPT: 선호도 조정을 통한 어텐션 동기화를 활용한 신뢰성 있는 멀티모달 대규모 언어 모델

ADAPT: Attention Dynamics Alignment with Preference Tuning for Faithful MLLMs

멀티모달 대규모 언어 모델(MLLM)은 제공된 이미지와 일치하지 않는 내용을 생성하는 환각 현상으로 인해 심각한 제약을 받습니다. 본 논문에서는 환각 현상의 내부적인 특징을 밝혀냈습니다. 이는 텍스트-이미지 교차 어텐션 과정에서 발생하는 점진적인 성능 저하이며, 이러한 저하는 집중되지 않거나 편향된 어텐션과 같은 특정 오류 패턴으로 이어집니다. 기존의 완화 전략은 주로 결과에 기반하며, 이러한 오류 모드를 명시적으로 해결하지 못합니다. 이 문제를 해결하기 위해, 우리는 텍스트-이미지 교차 어텐션 동역학에 직접 개입하는 어텐션 기반 프레임워크인 ADAPT (Attention Dynamics Alignment with Preference Tuning)를 제안합니다. ADAPT는 다음 세 가지 주요 기여를 포함합니다: 초기 디코딩 단계에서 얻은 시각적 앵커를 활용하여 안정적인 공간적 정렬을 제공하고, 어텐션을 통해 추론 과정을 감독하여 온라인으로 어텐션 드리프트를 감지하고 수정하며, 시각적으로 기반한 응답에 대한 선호도를 일치시키는 시각적 어텐션 가이드 DPO를 사용합니다. 실험 결과, ADAPT의 각 구성 요소가 환각 현상 감소에 기여하며, 전체 프레임워크는 여러 환각 현상 벤치마크에서 새로운 최고 성능을 달성했습니다. 특히 주류 백본 모델에서 환각 발생률을 40%~60%까지 줄이면서 일반적인 멀티모달 기능을 유지했습니다. 본 연구는 모델의 내부적인 텍스트-이미지 교차 어텐션 동작을 탐구하여 환각 현상을 완화하는 데 대한 어텐션 기반 관점을 제공합니다. 관련 코드는 https://github.com/yao-ustc/ADAPT 에서 확인할 수 있습니다.

Multimodal Large Language Models (MLLMs) are critically hampered by hallucination, generating content inconsistent with the provided image. In this paper, we identify an internal signature of hallucination: progressive degradation of text-to-image cross-attention during generation, leading to specific failure patterns like unfocused or biased attention. Existing mitigation strategies are largely outcome-driven and do not explicitly target this failure mode. To address this problem, we propose ADAPT (Attention Dynamics Alignment with Preference Tuning), an attention-based framework that intervenes directly on text-to-image cross-attention dynamics. We propose ADAPT with three key contributions: a cross-attention visual anchor refined from early decoding to provide stable spatial grounding, an attention-supervised inference mechanism that detects and corrects attention drift online, and a Visual Attention Guidance DPO that aligns preferences toward visually grounded responses. Experiments show that each component of ADAPT contributes to hallucination reduction, and the full framework achieves new best results across multiple hallucination benchmarks, reducing hallucination rates by 40%-60% across mainstream backbones while preserving general multimodal capabilities. Our work provides an attention-based perspective on mitigating hallucinations by exploring the model's internal text-to-image cross-attention behaviors. Code is available at https://github.com/yao-ustc/ADAPT