RAG이 효과를 내지 못할 때: 검색 증강 LLM에서 발생하는 주의 산만 현상의 진단 및 완화

When RAG Hurts: Diagnosing and Mitigating Attention Distraction in Retrieval-Augmented LVLMs

검색 증강 생성(RAG)은 지식 기반 시각-언어 질문 응답(VQA) 작업에서 대규모 시각-언어 모델(LVLM)의 성능을 향상시키는 주요 패러다임 중 하나입니다. 그러나 최근 연구에서는 RAG의 실패 원인을 검색된 컨텍스트에 대한 불충분한 주의로 돌리고, 이미지 토큰에 할당되는 주의를 줄이는 방법을 제안했습니다. 본 연구에서는 이전 연구에서 간과한 새로운 실패 모드인 '주의 산만(Attention Distraction, AD)'을 식별합니다. 검색된 컨텍스트가 충분할 때(매우 관련성이 높거나 정답을 포함하는 경우), 검색된 텍스트는 전체적인 시각 주의를 억제하고, 이미지 토큰에 대한 주의는 질문과 관련된 영역에서 벗어납니다. 이는 모델이 원래 검색된 텍스트 없이도 올바르게 답변할 수 있는 질문에 대해 실패를 초래합니다. 이 문제를 완화하기 위해, 우리는 훈련 없이 적용 가능한 방법인 MAD-RAG을 제안합니다. MAD-RAG은 이중 질문 형식을 사용하여 시각적 정보와 컨텍스트 통합을 분리하고, 이미지 기반 증거를 유지하기 위해 주의 혼합 기술을 사용합니다. OK-VQA, E-VQA 및 InfoSeek 데이터셋에 대한 광범위한 실험 결과, MAD-RAG은 다양한 모델 계열에서 기존의 기본 RAG 모델보다 일관되게 우수한 성능을 보이며, 최대 4.76%, 9.20% 및 6.18%의 절대적인 성능 향상을 달성했습니다. 특히, MAD-RAG은 전체 실패 사례의 최대 74.68%를 개선하며, 계산 비용은 거의 들지 않습니다.

While Retrieval-Augmented Generation (RAG) is one of the dominant paradigms for enhancing Large Vision-Language Models (LVLMs) on knowledge-based VQA tasks, recent work attributes RAG failures to insufficient attention towards the retrieved context, proposing to reduce the attention allocated to image tokens. In this work, we identify a distinct failure mode that previous study overlooked: Attention Distraction (AD). When the retrieved context is sufficient (highly relevant or including the correct answer), the retrieved text suppresses the visual attention globally, and the attention on image tokens shifts away from question-relevant regions. This leads to failures on questions the model could originally answer correctly without the retrieved text. To mitigate this issue, we propose MAD-RAG, a training-free intervention that decouples visual grounding from context integration through a dual-question formulation, combined with attention mixing to preserve image-conditioned evidence. Extensive experiments on OK-VQA, E-VQA, and InfoSeek demonstrate that MAD-RAG consistently outperforms existing baselines across different model families, yielding absolute gains of up to 4.76%, 9.20%, and 6.18% over the vanilla RAG baseline. Notably, MAD-RAG rectifies up to 74.68% of failure cases with negligible computational overhead.