피부과 분야의 제로샷 임상 협업 및 자동 개념 발견을 위한 비전-언어 기반 모델

A Vision-Language Foundation Model for Zero-shot Clinical Collaboration and Automated Concept Discovery in Dermatology

의료 분야의 기반 모델은 제한적인 환경에서 유망한 결과를 보여주었지만, 특정 작업에 맞춘 미세 조정에 대한 의존성은 광범위한 활용을 가로막고 있습니다. 본 연구에서는 마스크 처리 기반 학습과 대비 학습을 통해 4백만 개 이상의 다중 모드 데이터로 학습된 피부과 비전-언어 기반 모델인 DermFM-Zero를 소개합니다. DermFM-Zero는 제로샷 진단 및 다중 모드 검색을 포함한 20개의 벤치마크에서 평가되었으며, 특정 작업에 대한 적응 없이 최고 수준의 성능을 달성했습니다. 또한, 1,100명 이상의 의료 전문가를 대상으로 한 세 가지 다국가 연구를 통해 제로샷 기능을 평가했습니다. 1차 진료 환경에서, 인공지능 지원은 일반 의사가 98가지 피부 질환에 대한 감별 진단 정확도를 거의 두 배로 향상시켰습니다. 전문의 환경에서, 이 모델은 다중 모드 피부암 평가에서 전문의 자격증을 소지한 피부과 전문의보다 훨씬 뛰어난 성능을 보였습니다. 협업 워크플로우에서, 인공지능 지원은 비전문가가 도움 없이 작업하는 전문가를 능가하는 동시에 적절한 치료 관리를 향상시켰습니다. 마지막으로, DermFM-Zero의 잠재적 표현이 해석 가능하다는 것을 보여줍니다. 희소 자동 인코더는 임상적으로 의미 있는 개념을 자동으로 분리하여, 사전 정의된 어휘 접근 방식보다 우수한 성능을 보이며, 학습 없이 유발된 오류의 영향을 줄여 안정성을 향상시킵니다. 이러한 결과는 기반 모델이 효과적이고 안전하며 투명한 제로샷 임상 의사 결정 지원을 제공할 수 있음을 보여줍니다.

Medical foundation models have shown promise in controlled benchmarks, yet widespread deployment remains hindered by reliance on task-specific fine-tuning. Here, we introduce DermFM-Zero, a dermatology vision-language foundation model trained via masked latent modelling and contrastive learning on over 4 million multimodal data points. We evaluated DermFM-Zero across 20 benchmarks spanning zero-shot diagnosis and multimodal retrieval, achieving state-of-the-art performance without task-specific adaptation. We further evaluated its zero-shot capabilities in three multinational reader studies involving over 1,100 clinicians. In primary care settings, AI assistance enabled general practitioners to nearly double their differential diagnostic accuracy across 98 skin conditions. In specialist settings, the model significantly outperformed board-certified dermatologists in multimodal skin cancer assessment. In collaborative workflows, AI assistance enabled non-experts to surpass unassisted experts while improving management appropriateness. Finally, we show that DermFM-Zero's latent representations are interpretable: sparse autoencoders unsupervisedly disentangle clinically meaningful concepts that outperform predefined-vocabulary approaches and enable targeted suppression of artifact-induced biases, enhancing robustness without retraining. These findings demonstrate that a foundation model can provide effective, safe, and transparent zero-shot clinical decision support.