SAM3는 병리 이미지 분할에 적합할까요?

Is SAM3 ready for pathology segmentation?

Segment Anything Model 3 (SAM3)가 모든 병리 이미지의 분할에 활용될 수 있을까요? 디지털 병리 분할은 조직 수준과 핵 수준 모두를 포함하며, 기존 방법은 종종 높은 주석 비용과 낮은 일반화 성능 문제를 야기합니다. SAM3는 '프롬프트 기반 개념 분할'을 도입하여 텍스트 프롬프트를 통한 잠재적인 자동화 인터페이스를 제공합니다. 본 연구에서는 SAM3의 활용 가능성을 체계적으로 평가하기 위한 프로토콜을 제안합니다. 구체적으로, 우리는 제로샷, 소량 학습, 그리고 다양한 프롬프팅 전략을 포함한 다양한 감독 환경에서 SAM3를 평가합니다. NuInsSeg, PanNuke, 그리고 GlaS를 포함한 병리 데이터셋에 대한 광범위한 평가는 다음과 같은 결과를 보여줍니다. 1. 텍스트만 사용한 프롬프트는 핵 관련 개념을 제대로 활성화하지 못합니다. 2. 성능은 시각적 프롬프트 유형과 예산에 매우 민감합니다. 3. 소량 학습은 성능 향상을 가져다주지만, SAM3는 시각적 프롬프트 노이즈에 대한 강건성이 부족합니다. 4. 프롬프트 기반 사용법과 작업에 특화된 어댑터 기반 접근 방식 간에는 여전히 상당한 격차가 존재합니다. 본 연구는 병리 이미지 분할에서 SAM3의 한계를 명확히 하고, 병리 도메인 적응의 필요성에 대한 실질적인 지침을 제공합니다.

Is Segment Anything Model 3 (SAM3) capable in segmenting Any Pathology Images? Digital pathology segmentation spans tissue-level and nuclei-level scales, where traditional methods often suffer from high annotation costs and poor generalization. SAM3 introduces Promptable Concept Segmentation, offering a potential automated interface via text prompts. With this work, we propose a systematic evaluation protocol to explore the capability space of SAM3 in a structured manner. Specifically, we evaluate SAM3 under different supervision settings including zero-shot, few-shot, and supervised with varying prompting strategies. Our extensive evaluation on pathological datasets including NuInsSeg, PanNuke and GlaS, reveals that: 1.text-only prompts poorly activate nuclear concepts. 2.performance is highly sensitive to visual prompt types and budgets. 3.few-shot learning offers gains, but SAM3 lacks robustness against visual prompt noise. and 4.a significant gap persists between prompt-based usage and task-trained adapter-based reference. Our study delineates SAM3's boundaries in pathology image segmentation and provides practical guidance on the necessity of pathology domain adaptation.