교란을 통한 해독: 동적 텍스트 교란을 통한 MLLM 환각 현상 완화

Decoding by Perturbation: Mitigating MLLM Hallucinations via Dynamic Textual Perturbation

다중 모드 대규모 언어 모델(MLLM)은 종종 추론 과정에서 환각 현상을 겪는데, 이는 언어적 사전 지식이 시각적 증거를 압도하는 경향에서 비롯됩니다. 기존의 훈련이 필요 없는 완화 방법들은 시각적 표현을 교란하여 자연스러운 이미지 분포에서 벗어나게 하거나, 모델의 고유한 생성 능력을 저해하는 강제적인 조작을 수행합니다. 본 연구에서는 다중 모드 환각 현상이 해독 단계에서 시각적 정보와 텍스트 표현의 상호 작용에 대한 과도한 민감성으로 나타난다는 새로운 관점을 제시합니다. 이러한 통찰력을 바탕으로, 본 연구는 훈련이 필요 없는 프레임워크인 '교란을 통한 해독(Decoding by Perturbation, DeP)'을 제안합니다. DeP는 제어된 텍스트 개입을 통해 사전 지식에 의해 유발되는 환각 현상을 완화합니다. DeP는 다단계 텍스트 교란을 적용하는 동적 탐색 기능을 사용하여 잠재적인 언어적 사전 지식을 파악합니다. 또한, 어텐션 변동을 활용하여 안정적인 증거 영역을 강화하고, 특징 공간에서 의심스러운 노이즈를 억제합니다. 더욱이, 로짓 통계 정보를 활용하여 해석 가능한 사전 지식 변화 방향을 구축함으로써, 텍스트의 동반 발생으로 인한 확률 편향을 상쇄합니다. 광범위한 실험 결과는 DeP가 환각 현상을 효과적으로 줄이고, 여러 벤치마크에서 우수한 성능을 달성함을 입증합니다.

Multimodal Large Language Models frequently suffer from inference hallucinations, partially stemming from language priors dominating visual evidence. Existing training-free mitigation methods either perturb the visual representation and deviate from the natural image distribution, or enforce intrusive manipulations that compromise the model's inherent generative fluency. We introduce a novel perspective that multimodal hallucination manifests as the hypersensitivity of visual grounding to textual phrasing during the decoding phase. Building on this insight, we propose Decoding by Perturbation (DeP), a training-free framework mitigating prior-induced hallucinations via controlled textual interventions. DeP employs a dynamic probe applying multi-level textual perturbations to elicit latent language priors. Leveraging attention variance, it enhances stable evidence regions while suppressing suspicious noise in the feature space. Furthermore, it constructs an interpretable prior drift direction using logits statistics to counteract probability biases from textual co-occurrences. Extensive experiments confirm DeP effectively reduces hallucinations and achieves superior performance across multiple benchmarks.