의료 질문 응답을 위한 반복적 다중 모드 검색 기반 생성 모델

Iterative Multimodal Retrieval-Augmented Generation for Medical Question Answering

기존의 의료 검색 기반 생성 (RAG) 시스템은 일반적으로 생물 의학 문헌에서 추출된 텍스트 조각을 기반으로 작동하며, 원본 문서 페이지에 포함된 풍부한 시각적 정보 (표, 그림, 구조화된 레이아웃)는 활용하지 않습니다. 본 논문에서는 PMC 문서 페이지 이미지 대신 OCR 텍스트를 사용하는 대신, 정보를 검색하고 추론하는 반복적인 다중 모드 RAG 프레임워크인 MED-VRAG를 제안합니다. 이 시스템은 ColQwen2.5의 페이지 임베딩과 분산 MapReduce LLM 필터를 결합하여 약 35만 페이지에 대한 처리를 수행하며, 오프라인의 거친-부터-세밀한 인덱스 (페이지당 8개의 중심점, 중심점에 대한 ANN, 상위 R개 항목에 대한 정확한 양방향 점수 계산)를 통해 1단계 검색 시간을 30ms 이하로 유지합니다. 이후, 시각-언어 모델 (VLM)은 쿼리를 반복적으로 개선하고 최대 3번의 추론 과정 동안 메모리 뱅크에 증거를 누적합니다. 단일 반복 과정은 약 15.9초, 전체 3번 반복 과정은 4xA100 환경에서 약 47.8초가 소요됩니다. MED-VRAG는 MedQA, MedMCQA, PubMedQA, MMLU-Med의 네 가지 의료 질문 응답 벤치마크에서 평균 정확도 78.6%를 달성합니다. 동일한 Qwen2.5-VL-32B 모델을 사용한 비교 실험에서, 검색 기능은 검색을 사용하지 않는 기준 모델 대비 5.8% 포인트의 성능 향상을 가져왔습니다. 또한, MedRAG + GPT-4 (76.8%) 대비 1.8% 포인트의 성능 향상을 보였지만, 이는 동일한 데이터셋을 사용한 비교가 아닌, 서로 다른 논문 간의 비교라는 점을 유의해야 합니다. 추가 실험을 통해 페이지 이미지 검색 vs 텍스트 조각 검색 (+1.0), 반복 과정 (+1.5), 메모리 뱅크 (+1.0)가 각각 성능에 미치는 영향을 확인했습니다.

Medical retrieval-augmented generation (RAG) systems typically operate on text chunks extracted from biomedical literature, discarding the rich visual content (tables, figures, structured layouts) of original document pages. We propose MED-VRAG, an iterative multimodal RAG framework that retrieves and reasons over PMC document page images instead of OCR'd text. The system pairs ColQwen2.5 patch-level page embeddings with a sharded MapReduce LLM filter, scaling to ~350K pages while keeping Stage-1 retrieval under 30 ms via an offline coarse-to-fine index (C=8 centroids per page, ANN over centroids, exact two-way scoring on the top-R shortlist). A vision-language model (VLM) then iteratively refines its query and accumulates evidence in a memory bank across up to 3 reasoning rounds, with a single iteration costing ~15.9 s and the full three-round pipeline ~47.8 s on 4xA100. Across four medical QA benchmarks (MedQA, MedMCQA, PubMedQA, MMLU-Med), MEDVRAG reaches 78.6% average accuracy. Under controlled comparison with the same Qwen2.5-VL-32B backbone, retrieval contributes a +5.8 point gain over the no-retrieval baseline; we also note a +1.8 point edge over MedRAG + GPT-4 (76.8%), with the caveat that this is a cross-paper rather than head-to-head comparison. Ablations isolate +1.0 from page-image vs text-chunk retrieval, +1.5 from iteration, and +1.0 from the memory bank.