안과 임상 의사 결정 지원을 위한 지침 기반 검색 증강 생성

Guideline-grounded retrieval-augmented generation for ophthalmic clinical decision support

본 연구에서는 안과 임상 질문 응답 및 의사 결정을 지원하는 다중 모드 시각 검색 증강 생성 시스템인 Oph-Guid-RAG을 제안합니다. 우리는 각 지침 페이지를 독립적인 증거 단위로 취급하고 페이지 이미지, 표, 흐름도 및 레이아웃 정보를 직접 검색합니다. 또한, 라우팅 및 필터링을 통해 외부 증거를 선택적으로 도입하고 노이즈를 줄이는 제어 가능한 검색 프레임워크를 설계했습니다. 이 시스템은 질의 분해, 질의 재작성, 검색, 재순위화 및 다중 모드 추론을 통합하며, 지침 페이지 참조를 통해 추적 가능한 결과를 제공합니다. 우리는 HealthBench 데이터셋을 사용하여 의사 기반 평가 프로토콜로 우리 방법을 평가했습니다. 어려운 데이터셋에서, 우리의 접근 방식은 GPT-5.2와 비교하여 전체 점수를 0.2969에서 0.3861(+0.0892, +30.0%)으로 향상시켰으며, 정확도를 0.5956에서 0.6576(+0.0620, +10.4%)으로 향상시켜 더 높은 정확도를 달성했습니다. GPT-5.4와 비교했을 때, 우리 방법은 +0.1289(+24.4%)의 더 큰 정확도 향상을 보였습니다. 이러한 결과는 우리의 방법이 정밀하고 증거 기반 추론이 필요한 어려운 사례에서 더 효과적임을 보여줍니다. 추가 분석 결과, 재순위화, 라우팅 및 검색 설계가 안정적인 성능을 유지하는 데 중요한 역할을 하며, 특히 어려운 환경에서 더욱 중요함을 알 수 있습니다. 전반적으로, 우리는 시각 기반 검색과 제어 가능한 추론을 결합하여 임상 AI 응용 분야에서 증거 기반을 강화하고 견고성을 향상시킬 수 있음을 보여주며, 더욱 완전한 시스템을 구축하기 위한 추가 연구가 필요함을 지적합니다.

In this work, we propose Oph-Guid-RAG, a multimodal visual RAG system for ophthalmology clinical question answering and decision support. We treat each guideline page as an independent evidence unit and directly retrieve page images, preserving tables, flowcharts, and layout information. We further design a controllable retrieval framework with routing and filtering, which selectively introduces external evidence and reduces noise. The system integrates query decomposition, query rewriting, retrieval, reranking, and multimodal reasoning, and provides traceable outputs with guideline page references. We evaluate our method on HealthBench using a doctor-based scoring protocol. On the hard subset, our approach improves the overall score from 0.2969 to 0.3861 (+0.0892, +30.0%) compared to GPT-5.2, and achieves higher accuracy, improving from 0.5956 to 0.6576 (+0.0620, +10.4%). Compared to GPT-5.4, our method achieves a larger accuracy gain of +0.1289 (+24.4%). These results show that our method is more effective on challenging cases that require precise, evidence-based reasoning. Ablation studies further show that reranking, routing, and retrieval design are critical for stable performance, especially under difficult settings. Overall, we show how combining visionbased retrieval with controllable reasoning can improve evidence grounding and robustness in clinical AI applications,while pointing out that further work is needed to be more complete.