전문가에서 일반주의자로: SAM의 학습 잠재력을 활용하여 비표시 의료 이미지 분석

From Specialist to Generalist: Unlocking SAM's Learning Potential on Unlabeled Medical Images

세그먼트 에이닝 모델(SAM)과 같은 기초 모델은 강력한 일반화 능력을 보이지만, 도메인 변화, 부족한 라벨 데이터, 그리고 파라미터 효율적인 미세 조정(PEFT)이 비표시 데이터를 활용하지 못한다는 점 때문에 의료 이미지에 적용하기는 어렵습니다. 기존의 U-Net과 같은 모델은 반지도 학습에서 뛰어난 성능을 보이지만, PEFT를 사용하는 SAM을 지원할 수 있는 잠재력은 대부분 간과되었습니다. 본 연구에서는 U-Net이 점 기반 프롬프트와 유사 라벨을 제공하여 SAM의 적응을 돕고, 동시에 SAM이 강력한 일반주의 모델로서 U-Net을 규제하는 상호 보완적인 프레임워크인 SC-SAM을 제안합니다. 이러한 상호 작용은 양방향 공동 학습 루프를 형성하여 두 모델 모두 비표시 데이터를 효과적으로 활용할 수 있도록 합니다. 전립선 MRI 및 용종 분할 벤치마크에서, 저희 방법은 최첨단 결과를 달성했으며, 다른 기존의 반지도 학습 SAM 변형 모델 및 MedSAM과 같은 의료 기초 모델보다 뛰어난 성능을 보였습니다. 이는 전문성과 일반주의의 협력이 라벨 효율적인 의료 이미지 분할에 매우 중요하다는 것을 강조합니다. 저희 코드는 https://github.com/vnlvi2k3/SC-SAM 에서 확인할 수 있습니다.

Foundation models like the Segment Anything Model (SAM) show strong generalization, yet adapting them to medical images remains difficult due to domain shift, scarce labels, and the inability of Parameter-Efficient Fine-Tuning (PEFT) to exploit unlabeled data. While conventional models like U-Net excel in semi-supervised medical learning, their potential to assist a PEFT SAM has been largely overlooked. We introduce SC-SAM, a specialist-generalist framework where U-Net provides point-based prompts and pseudo-labels to guide SAM's adaptation, while SAM serves as a powerful generalist supervisor to regularize U-Net. This reciprocal guidance forms a bidirectional co-training loop that allows both models to effectively exploit the unlabeled data. Across prostate MRI and polyp segmentation benchmarks, our method achieves state-of-the-art results, outperforming other existing semi-supervised SAM variants and even medical foundation models like MedSAM, highlighting the value of specialist-generalist cooperation for label-efficient medical image segmentation. Our code is available at https://github.com/vnlvi2k3/SC-SAM.