CoCo-SAM3: 개방형 어휘 의미 분할에서 개념 충돌 활용

CoCo-SAM3: Harnessing Concept Conflict in Open-Vocabulary Semantic Segmentation

SAM3는 프롬프트 기반 마스크 생성 패러다임을 도입하여 개방형 어휘 의미 분할을 발전시킵니다. 그러나 다중 클래스 개방형 어휘 시나리오에서, 서로 다른 카테고리 프롬프트로부터 독립적으로 생성된 마스크는 통일된, 클래스 간 비교 가능한 증거 척도를 갖추지 못하는 경우가 많아, 종종 겹치는 영역과 불안정한 경쟁을 초래합니다. 또한, 동일한 개념의 동의어 표현은 일관성 없는 의미 및 공간적 증거를 활성화시켜, 클래스 내 편향을 심화시키고 클래스 간 충돌을 악화시켜 전체 추론의 안정성을 저해합니다. 이러한 문제를 해결하기 위해, 우리는 개념 충돌을 명시적으로 분리하여 클래스 내 향상과 클래스 간 경쟁을 수행하는 CoCo-SAM3 (Concept-Conflict SAM3)을 제안합니다. 우리의 방법은 먼저 동의어 프롬프트로부터 증거를 정렬하고 통합하여 개념의 일관성을 강화합니다. 그런 다음, 통일된 비교 척도에서 클래스 간 경쟁을 수행하여, 모든 후보 클래스 간의 직접적인 픽셀 단위 비교를 가능하게 합니다. 이 메커니즘은 다중 클래스 추론을 안정화시키고 클래스 간 충돌을 효과적으로 완화합니다. 추가적인 학습 없이, CoCo-SAM3는 8개의 개방형 어휘 의미 분할 벤치마크에서 일관된 성능 향상을 달성합니다.

SAM3 advances open-vocabulary semantic segmentation by introducing a prompt-driven mask generation paradigm. However, in multi-class open-vocabulary scenarios, masks generated independently from different category prompts lack a unified and inter-class comparable evidence scale, often resulting in overlapping coverage and unstable competition. Moreover, synonymous expressions of the same concept tend to activate inconsistent semantic and spatial evidence, leading to intra-class drift that exacerbates inter-class conflicts and compromises overall inference stability. To address these issues, we propose CoCo-SAM3 (Concept-Conflict SAM3), which explicitly decouples inference into intra-class enhancement and inter-class competition. Our method first aligns and aggregates evidence from synonymous prompts to strengthen concept consistency. It then performs inter-class competition on a unified comparable scale, enabling direct pixel-wise comparisons among all candidate classes. This mechanism stabilizes multi-class inference and effectively mitigates inter-class conflicts. Without requiring any additional training, CoCo-SAM3 achieves consistent improvements across eight open-vocabulary semantic segmentation benchmarks.