기반 모델 및 대규모 언어 모델을 활용한 소량 데이터 의료 영상 분할 성능 평가

Benchmarking Foundation and Large Language Models for Few-Shot Medical Image Segmentation

소량 데이터 기반 의료 영상 분할(FS-MIS)은 제한적인 수의 어노테이션된 지원 데이터를 사용하여 새로운 관심 영역(ROI)을 분할하는 것을 목표로 합니다. 최근 빠른 발전에도 불구하고, 기존 FS-MIS 솔루션들은 다양한 접근 방식을 사용하며 일관되지 않은 환경에서 평가되어 상대적인 효과를 명확히 파악하기 어렵습니다. 본 연구에서는 FS-MIS 솔루션을 평가하기 위한 통합 벤치마크인 FAME을 소개합니다. FAME은 전문가 시스템, SAM 기반 방법, CLIP 기반 방법 및 MLLM 기반 방법을 포함하며, 총 7개의 해부학적 부위, 9가지 영상 모드 및 14개 ROI 범주에 걸쳐 14,958개의 테스트 샘플을 포함합니다. FAME은 제로샷 및 십샷 환경에서 모델을 평가하고, 또한 대상 부재 인식 능력과 데이터의 공변량 및 의미적 변화에 대한 일반화 능력을 추가적으로 평가합니다. 우리의 평가는 다음과 같은 중요한 결과를 보여줍니다. 첫째, 효과적인 소량 데이터 분할은 모델이 지원 데이터를 어떻게 활용하는지에 달려 있으며, 직접적인 시각적 적응 방식이 프롬프트 기반 전략보다 일반적으로 우수한 성능을 보입니다. 둘째, 지원 데이터의 양을 늘리는 것이 성능 향상에 기여하는 것은 모델이 이러한 데이터를 효과적으로 활용할 수 있는 경우에만 해당됩니다. 셋째, 영상 도메인 적응보다 의미적 전이가 훨씬 더 어려운 과제이며, 강력한 지역화 능력은 반드시 신뢰할 수 있는 대상 부재 인식 능력을 보장하지 않습니다. 본 연구에서 제시하는 FAME이 현재 FS-MIS 솔루션에 대한 종합적인 이해를 제공하고 더욱 효과적이고 신뢰할 수 있는 소량 데이터 기반 의료 영상 분할 방법 개발을 촉진하기를 바랍니다.

Few-shot medical image segmentation (FS-MIS) aims to segment novel regions of interest (ROIs) from a few annotated support examples. Despite rapid progress, existing FS-MIS solutions span diverse paradigms but are evaluated under inconsistent settings, leaving their relative effectiveness unclear. We introduce FAME, a unified benchmark for evaluating FS-MIS solutions, covering specialists, SAM-based methods, CLIP-based methods, and MLLM-based methods. FAME contains 14,958 test samples across 7 anatomical sites, 9 imaging modalities, and 14 ROI categories, and evaluates models under zero-shot and ten-shot settings with additional assessment of target-absence recognition and generalization under covariate and semantic shifts. Our evaluation reveals several findings. First, effective few-shot segmentation depends on how models exploit support examples: direct visual adaptation generally outperforms prompt-based strategies. Second, increasing support examples improves performance only when models can effectively utilize them. Third, semantic transfer remains substantially more challenging than imaging-domain adaptation, and strong localization ability does not necessarily imply reliable target-absence recognition. We hope FAME provides a comprehensive understanding of current FS-MIS solutions and facilitates the development of more effective and reliable few-shot medical segmentation methods.