더 많은 검색된 증거가 확산 언어 모델을 활용한 시각 검색 기반 생성에 도움이 되는가?

Does More Retrieved Evidence Help Visual Retrieval-Augmented Generation with Diffusion Language Models?

시각 검색 기반 생성 (RAG)은 일반적으로 답변-페이지의 범위를 넓히기 위해 검색된 증거 집합을 확장하며, 이는 사용 가능한 모든 증거를 생성기에 전달해야 한다는 전제를 암묵적으로 내포합니다. 본 연구에서는 이 가정이 확산 언어 모델 (DLM)에 적용될 때 유효하지 않음을 보여줍니다. 더 많은 페이지를 검색하면 답변-페이지의 재현율이 증가하지만, 일반적으로 검색된 모든 페이지를 조건 없이 생성기에 전달하는 것은 답변 정확도를 감소시킵니다. 이는 주로 의미적 충돌 때문입니다. 잠재적인 정보원 분석 결과, 병렬적인 노이즈 제거 과정에서 정보원의 일관성이 손실되어 위치별 제안들이 호환되지 않는 시각 정보를 결합하여 근거 없는 답변을 생성하는 것으로 나타났습니다. 또한 이러한 간섭은 첫 번째 단계의 답변 블록 분포에서도 이미 나타나므로, 디코딩 전에 증거를 평가할 수 있습니다. 검색 범위를 유지하면서 유해한 시각 정보 노출을 제한하기 위해, 본 연구에서는 학습이 필요 없는 증거 선택 프레임워크인 엔트로피 기반 후보 필터 (ECF)를 제안합니다. ECF는 각 후보 내의 관련 없는 콘텐츠를 줄이기 위해 다단계 증거 단위를 구성하며, 유용한 추가 증거를 식별하기 위해 블랭크 제어 블록 신뢰도와 검색 순위를 사용하여 어떤 후보가 최종 컨텍스트에 포함될지 결정합니다. 세 가지 멀티모달 DLM 모델과 다섯 개의 시각 질의 응답 벤치마크에서 ECF는 평균적으로 가장 강력한 고정된 상위 $k$ 입력 방식보다 답변 정확도를 2.62% 포인트 향상시키고, LLaDA2.0-Uni 모델에서는 각 데이터셋에 대한 최상의 학습이 필요 없는 결과보다 평균 2.37% 포인트 향상시키는 것으로 나타났습니다. 이러한 결과는 광범위한 검색이 무조건적인 증거 확장이 아닌 선택적인 증거 수용을 통해 시각 DLM-RAG의 성능을 향상시킨다는 것을 보여줍니다. 코드 repository: https://github.com/wjkuser/ECF

Visual retrieval-augmented generation (RAG) commonly expands the retrieved evidence set to improve answer-page coverage, implicitly assuming that all available evidence should be passed to the generator. We show that this assumption does not hold for diffusion language models (DLMs): retrieving more pages increases answer-page recall, whereas unconditionally passing all retrieved pages to the generator often reduces answer accuracy, primarily because of semantic conflict. A latent-source analysis explains this mismatch through source-coherence loss in parallel denoising, where position-wise proposals can combine incompatible visual sources into unsupported answers. We further find that such interference is already visible in the first-step answer-block distribution, making it possible to assess evidence before decoding. To preserve retrieval coverage while limiting harmful visual exposure, we propose the Entropy-Based Candidate Filter (ECF), a training-free evidence-admission framework. To reduce irrelevant content within individual candidates, ECF constructs multi-granularity evidence units; to identify beneficial additional evidence, it uses blank-controlled block confidence and retrieval rank to determine whether and which candidate should enter the final context. Across three multimodal DLMs and five visual QA benchmarks, ECF improves answer accuracy by 2.62 percentage points on average over the strongest fixed top-$k$ input and, with LLaDA2.0-Uni, by 2.37 percentage points on average over the best competing training-free result for each dataset. These results show that broader retrieval benefits visual DLM-RAG through selective evidence admission rather than unconditional evidence expansion. Code is publicly available at https://github.com/wjkuser/ECF.