일반적인 시각 언어 모델(VLM)이 전문적인 의료 VLM과 경쟁할 수 있는가? 성능 비교 및 전략적 통찰

Can Generalist Vision Language Models (VLMs) Rival Specialist Medical VLMs? Benchmarking and Strategic Insights

시각 언어 모델(VLM)은 임상 환경에서 이미지 진단 및 해석을 자동화하는 데 유망한 가능성을 보여주고 있습니다. 그러나 전문적인 의료 VLM을 개발하려면 상당한 계산 자원과 신중하게 구성된 데이터 세트가 필요하며, 일반적인 VLM과 전문적인 의료 VLM이 각각 어떤 조건에서 가장 뛰어난 성능을 보이는지는 아직 명확하지 않습니다. 본 연구는 전문적인 의료 VLM과 일반적인 VLM의 상호 보완적인 장점을 강조합니다. 전문 모델은 모달리티와 관련된 특정 작업에서 여전히 가치가 있지만, 효율적으로 미세 조정된 일반적인 VLM이 대부분의 작업에서 동등하거나 더 뛰어난 성능을 달성할 수 있다는 것을 확인했습니다. 특히, 새로운 또는 희귀한 OOD(Out-of-Distribution) 의료 모달리티로 전환될 때 더욱 그렇습니다. 이러한 결과는 일반적인 VLM이 전문적인 의료 사전 훈련의 부족으로 인해 제약받기보다는, 임상 AI 개발을 발전시키는 확장 가능하고 비용 효율적인 방법을 제공할 수 있음을 시사합니다.

Vision Language Models (VLMs) have shown promise in automating image diagnosis and interpretation in clinical settings. However, developing specialist medical VLMs requires substantial computational resources and carefully curated datasets, and it remains unclear under which conditions generalist and specialist medical VLMs each perform best. This study highlights the complementary strengths of specialist medical and generalist VLMs. Specialists remain valuable in modality-aligned use cases, but we find that efficiently fine-tuned generalist VLMs can achieve comparable or even superior performance in most tasks, particularly when transferring to unseen or rare OOD medical modalities. These results suggest that generalist VLMs, rather than being constrained by their lack of specialist medical pretraining, may offer a scalable and cost-effective pathway for advancing clinical AI development.