ActiveSAM: 이미지 기반 클래스 가지치기를 통한 빠르고 정확한 오픈 보카불러리 분할

ActiveSAM: Image-Conditional Class Pruning for Fast and Accurate Open-Vocabulary Segmentation

Segment Anything Model 3 (SAM 3)는 개념 프롬프트를 활용한 분할 작업에 강력한 기본 모델을 제공하지만, 이를 직접 오픈 보카불러리 의미 분할(OVSS)에 적용하는 것은 비효율적입니다. 일반적으로 전체 데이터셋의 어휘를 사용하여 고해상도 디코딩을 수행하지만, 각 이미지에는 실제로 활성화된 클래스 집합이 매우 작기 때문입니다. 본 논문에서는 SAM 3를 능동적인 어휘 분할기로 변환하는 학습이 필요 없는 제로샷 추론 프레임워크인 ActiveSAM을 소개합니다. ActiveSAM은 먼저 클래스 프롬프트를 표준화하고 확장한 다음, 저해상도 존재 예측(presence preview)을 통해 이미지에 조건부로 활성화된 클래스 집합을 추정합니다. 유지되는 클래스만 고해상도로 디코딩하며, 동결된 SAM 3 디코더를 사용하여 버킷 기반 프롬프트 멀티플렉싱을 적용합니다. 미리보기 단계에서는 클래스 존재 여부에 대한 정보만 사용하고 불필요한 분할 헤드 계산을 건너빰으로써 효율성을 높입니다. 최종 단계에서는 신뢰도가 낮은 픽셀을 억제하기 위해 마진 인지 배경 보정(margin-aware background calibration)을 적용합니다. ActiveSAM은 대상 데이터셋에 대한 학습, 가중치 업데이트 또는 오라클 클래스 존재 여부 레이블이 필요하지 않습니다. 8개의 OVSS 벤치마크에서 ActiveSAM은 학습이 필요 없는 오픈 보카불러리 의미 분할의 속도와 정확성 간의 균형을 개선하며, 평균적으로 +1.4 mIoU 향상을 보여 현재 최고 성능인 SegEarth-OV3를 능가합니다. 또한, ActiveSAM은 자율 주행 및 임베디드 AI와 같은 노이즈가 많은 환경에서 활용될 수 있도록 실제 분포 변화를 시뮬레이션하는 이미지 손상에 대한 강력한 견고성을 제공합니다. 관련 코드는 https://github.com/VILA-Lab/ActiveSAM 에서 확인할 수 있습니다.

Segment Anything Model 3 (SAM 3) provides a strong frozen backbone for concept-prompted segmentation, but applying it directly to open-vocabulary semantic segmentation (OVSS) is inefficient: full-resolution decoding is typically run over the entire dataset vocabulary, whereas each image contains only a small active subset of classes. We introduce ActiveSAM, a training-free, zero-shot inference framework that turns SAM 3 into an active-vocabulary segmenter. ActiveSAM first canonicalizes and expands class prompts, then estimates an image-conditioned active set from a low-resolution presence preview. Only the retained classes are decoded at full resolution, using bucketed prompt multiplexing with the frozen SAM 3 decoder. The preview stage uses only class-presence evidence and skips unnecessary segmentation-head computation, while the final stage applies margin-aware background calibration to suppress low-confidence pixels. ActiveSAM requires no target-dataset training, no weight updates, and no oracle class-presence labels. Across eight OVSS benchmarks, ActiveSAM improves the speed-accuracy tradeoff of training-free open-vocabulary semantic segmentation, outperforming the current state-of-the-art SegEarth-OV3 by approximately +1.4 mIoU on average while running up to 5.5x faster on large-vocabulary datasets. ActiveSAM also demonstrates the strongest robustness under image corruption that simulates real-world distribution shift, making it well-suited for deployment in noisy-input domains such as autonomous driving and embodied AI. Code is available at https://github.com/VILA-Lab/ActiveSAM.