EOVSAM: SAM 3를 활용한 효율적인 단일 패스 기반 오픈 보카불러리 세그멘테이션

EOVSAM: Efficient Open-Vocabulary Segmentation with SAM 3 in One Pass

오픈 보카불러리 세그멘테이션은 주어진 텍스트 설명을 통해 객체를 식별하고 분할하는 기술입니다. SAM 3는 명사구 기반의 세그멘테이션을 지원하며, 모든 어휘를 탐색하여 경쟁력 있는 성능을 보이지만, 대상 카테고리가 증가함에 따라 계산 비용이 매우 높아지는 문제가 있습니다. 본 논문에서는 SAM 3를 단일 패스 방식으로 적용한 효율적인 오픈 보카불러리 세그멘테이션 프레임워크인 EOVSAM을 제안합니다. EOVSAM은 SAM 3의 프롬프트 조건을 제거하여 효율적인 마스크 생성기로 활용하고, 새로운 어텐션 기반 집계(Attentional Aggregation) 전략을 도입하여 오픈 보카불러리 분류를 엔드 투 엔드로 최적화합니다. 이러한 방식은 기존 방법에서 흔히 사용되는 다단계 파이프라인 및 후처리 기법을 피하면서, 직접적인 분류 최적화 과정에서 발생할 수 있는 폐쇄 집합(closed-set collapse) 문제를 완화합니다. EOVSAM은 평가된 모든 데이터셋에서 vanilla SAM 3보다 세그멘테이션 정확도를 향상시키고 최대 338배까지 추론 속도를 가속화합니다. 또한, EOVSAM은 낮은 해상도에서도 높은 정확도를 유지하면서 더욱 뛰어난 추론 속도를 달성합니다. 표준 의미 및 팬옵틱 세그멘테이션 벤치마크 실험 결과, EOVSAM은 경쟁력 있는 또는 최고 수준의 정확도를 기존 오픈 보카불러리 세그멘테이션 모델보다 훨씬 빠른 속도로 제공합니다. 코드 및 모델은 https://github.com/hustvl/EOVSAM 에서 확인할 수 있습니다.

Open-vocabulary segmentation identifies and segments objects from arbitrary textual descriptions. SAM 3 supports noun-phrase-guided segmentation and achieves competitive open-vocabulary performance through exhaustive vocabulary traversal, yet suffers from prohibitive computational overhead as target categories scale. In this paper, we propose an Efficient Open-Vocabulary segmentation framework with SAM 3 (EOVSAM), which adapts SAM 3 for single-pass prediction. EOVSAM removes prompt conditioning to turn SAM 3 into an efficient mask generator and introduces a new Attentional Aggregation strategy to optimize open-vocabulary classification end-to-end. This formulation avoids the multi-stage pipelines and post-processing heuristics commonly used by existing methods, while mitigating the closed-set collapse that can arise when classification is optimized directly. EOVSAM consistently improves segmentation accuracy over vanilla SAM 3 on all evaluated datasets and accelerates inference by up to 338$\times$. Furthermore, EOVSAM maintains high accuracy at lower resolutions while achieving even more remarkable inference speeds. Experiments on standard semantic and panoptic segmentation benchmarks show that EOVSAM combines competitive or state-of-the-art accuracy with a substantial speed advantage over existing open-vocabulary segmentation models. Code and models are available at https://github.com/hustvl/EOVSAM.