MedVR: 에이전트 기반 강화 학습을 통한 주석 불필요 의료 시각 추론

MedVR: Annotation-Free Medical Visual Reasoning via Agentic Reinforcement Learning

의료 시각-언어 모델(VLMs)은 복잡한 임상 작업에 엄청난 잠재력을 가지고 있지만, 그 추론 능력은 종종 시각적 증거에 기반하지 못하는 텍스트 기반 방식에 의해 제약됩니다. 이러한 제한은 미세한 시각적 분석이 필요한 작업의 성능을 저하시킬 뿐만 아니라, 안전이 중요한 응용 분야에서 시각적 환각의 위험을 초래할 수 있습니다. 따라서, 본 논문에서는 주석이 필요 없는 시각적 추론을 가능하게 하는 새로운 강화 학습 프레임워크인 MedVR을 소개합니다. MedVR의 핵심 혁신은 두 가지 시너지 효과를 내는 메커니즘에 있습니다. 엔트로피 기반 시각적 재정렬(EVR)은 모델의 불확실성을 활용하여 탐색을 유도하고, 합의 기반 보상 할당(CCA)은 롤아웃 합의로부터 유사 지도 학습을 수행합니다. MedVR은 중간 단계에 대한 어떠한 인간 주석도 없이, 다양한 공개 의료 시각 질의 응답(VQA) 벤치마크에서 최첨단 성능을 달성하며, 기존 모델보다 훨씬 뛰어난 성능을 보입니다. MedVR은 시각적 증거를 직접 활용하여 추론함으로써, 의료 AI의 임상 적용을 가속화하는 데 필수적인 견고성과 투명성을 향상시킵니다.

Medical Vision-Language Models (VLMs) hold immense promise for complex clinical tasks, but their reasoning capabilities are often constrained by text-only paradigms that fail to ground inferences in visual evidence. This limitation not only curtails performance on tasks requiring fine-grained visual analysis but also introduces risks of visual hallucination in safety-critical applications. Thus, we introduce MedVR, a novel reinforcement learning framework that enables annotation-free visual reasoning for medical VLMs. Its core innovation lies in two synergistic mechanisms: Entropy-guided Visual Regrounding (EVR) uses model uncertainty to direct exploration, while Consensus-based Credit Assignment (CCA) distills pseudo-supervision from rollout agreement. Without any human annotations for intermediate steps, MedVR achieves state-of-the-art performance on diverse public medical VQA benchmarks, significantly outperforming existing models. By learning to reason directly with visual evidence, MedVR promotes the robustness and transparency essential for accelerating the clinical deployment of medical AI.