SegDINO: 효율적인 의료 영상 분할을 위한 DINO에 다중 스케일 구조 도입

SegDINO: Introducing Multi-Scale Structure into DINO for Efficient Medical Image Segmentation

자기 지도 학습 기반의 DINO 모델은 강력한 시각적 표현력을 제공하지만, 이를 이미지 분할에 직접 적용하는 것은 여전히 어려운 과제입니다. 기존 접근 방식은 복잡한 업샘플링을 사용하는 무거운 디코더에 의존하며, 이는 상당한 파라미터 및 계산 오버헤드를 유발합니다. 본 연구에서는 DINO 특징에 스케일을 도입하는 것이 디코더의 용량을 늘리는 것보다 훨씬 더 중요함을 확인했습니다. 이에 따라, DINOv3 백본과 경량화된 스케일 모델링을 통합한 효율적인 분할 프레임워크인 SegDINO를 제안합니다. SegDINO는 중간 DINO 특징을 준-다중 스케일 계층으로 재구성하는 토큰 피라미드 적응(TPA)과, 효율적인 내부 스케일 정제 및 상향식 다중 스케일 전파를 위한 스케일 인식 디코딩(SAD)을 도입합니다. 또한, 전문가가 주석한 췌장 종양 데이터를 포함하는 새로운 CT 데이터셋인 PanCT를 구축하여 SegDINO의 어려운 작은 병변 처리 능력을 평가했습니다. PanCT와 세 개의 공개 벤치마크에 대한 광범위한 실험 결과, SegDINO는 높은 효율성을 유지하면서 최첨단 결과를 달성함을 보여줍니다. 코드 및 관련 자료는 다음 주소에서 확인할 수 있습니다: https://github.com/script-Yang/segdino_v2.

Self-supervised DINO models provide strong transferable visual representations, yet applying them directly to image segmentation remains challenging. Existing approaches commonly rely on heavy decoders with complex upsampling, introducing substantial parameter and computational overhead. We observe that introducing scale into DINO features is far more critical than increasing decoder capacity. In this work, we present SegDINO, an efficient segmentation framework that integrates a DINOv3 backbone with lightweight scale modeling. SegDINO introduces Token Pyramid Adaptation (TPA) to reorganize intermediate DINO features into a pseudo multi-scale hierarchy, and Scale-Aware Decoding (SAD) for efficient intra-scale refinement and top-down multi-scale propagation. We further curate PanCT, a new CT dataset containing 284 patients with expert-annotated pancreatic tumors, to assess SegDINO's ability to handle difficult small-lesion cases. Extensive experiments on PanCT and three public benchmarks demonstrate that SegDINO achieves state-of-the-art results with high efficiency. The code is available at https://github.com/script-Yang/segdino_v2.