검색 증강 마스크 확산 모델을 위한 적응형 가이드

Adaptive Guidance for Retrieval-Augmented Masked Diffusion Models

검색 증강 생성(RAG)은 외부 지식을 언어 모델 생성에 통합하여 사실 기반을 강화합니다. 그러나 검색된 맥락이 노이즈가 있거나, 신뢰할 수 없거나, 모델의 매개변수 지식과 일치하지 않으면 검색 우선순위 충돌이 발생하여 생성 품질이 저하될 수 있습니다. 이 문제는 자기 회귀 언어 모델에서 연구되었지만, 반복적인 디노이징 과정을 통해 검색된 맥락을 통합하는 데 독특한 어려움을 야기하는 확산 기반 언어 모델에서는 아직 널리 연구되지 않았습니다. 본 연구에서는 검색 증강 마스크 확산 모델(MDM)의 RAG 환경에서 학습이 필요 없는 적응형 가이드 프레임워크인 Adaptive Retrieval-Augmented Masked Diffusion (ARAM)을 제안합니다. ARAM은 디노이징 과정 동안 검색된 맥락에 의해 유발되는 분포 변화의 신호 대 잡음비(SNR)에 따라 가이드 스케일을 동적으로 조정합니다. 직관적으로, 모델은 검색된 맥락이 신뢰할 수 있는 수정 증거를 제공할 때 가이드를 강화하고, 맥락 신호가 노이즈가 있거나 지원적이지 않은 경우 가이드를 억제합니다. 다양한 지식 집약적 질의 응답 벤치마크에 대한 광범위한 실험 결과, ARAM은 경쟁적인 RAG 기준보다 전반적인 질의 응답 성능을 향상시키는 것으로 나타났습니다.

Retrieval-Augmented Generation (RAG) improves factual grounding by incorporating external knowledge into language model generation. However, when retrieved context is noisy, unreliable, or inconsistent with the model's parametric knowledge, it introduces retrieval-prior conflicts that can degrade generation quality. While this problem has been studied in autoregressive language models, it remains largely unexplored in diffusion-based language models, where the iterative denoising process introduces unique challenges for integrating retrieved context. In this work, we propose Adaptive Retrieval-Augmented Masked Diffusion (ARAM), a training-free adaptive guidance framework for Masked Diffusion Models (MDMs) in RAG settings. ARAM dynamically calibrates the guidance scale during denoising according to the Signal-to-Noise Ratio (SNR) of the distributional shift induced by retrieved context. Intuitively, the model strengthens guidance when the retrieved context provides reliable corrective evidence and suppresses it when the contextual signal is noisy or non-supportive. Extensive experiments on multiple knowledge-intensive QA benchmarks show that ARAM improves overall QA performance over competitive RAG baselines.