합의 추구: 기하-의미적 실시간 재조정을 통한 개방형 어휘 원격 감지 의미 분할

Seeking Consensus: Geometric-Semantic On-the-Fly Recalibration for Open-Vocabulary Remote Sensing Semantic Segmentation

원격 감지 이미지에서의 개방형 어휘 의미 분할(OVSS)은 정의되지 않은 지표면 유형을 식별하기 위해 텍스트 설명을 활용하는 유망한 기술입니다. 기존 방법들은 상당한 발전을 이루었지만, 일반적으로 정적인 추론 방식을 사용하며, 각 장면의 고유한 분포를 간과하여 다양한 지표면 유형에서 의미적 모호성을 야기하고, 객체 활성화가 불완전해지는 문제가 있습니다. 이러한 문제점을 해결하기 위해, 본 논문에서는 원격 감지 이미지에서 훈련 없이 작동하는 OVSS 모델의 성능을 향상시키는 플러그 앤 플레이 프레임워크인 'Seeking Consensus (SeeCo)'를 제안합니다. SeeCo는 다중 시점 일관성 관찰을 통한 기하적 합의 학습(GCL)과 텍스트 설명 적응적 보정을 통한 의미적 합의 학습(SCL)을 통해 임의의 OVSS 모델을 실시간으로 재조정하여, 시각적 및 텍스트 의미를 협력적으로 재조정하도록 돕습니다. 두 가지 합의는 온라인 합의 주입기(OCI)를 통해 주입되어, 객체 활성화 부족 및 의미 편향을 효과적으로 완화합니다. SeeCo는 별도의 훈련 과정 없이, 추론 과정에서 각 고유한 장면의 의미-기하적 정렬을 재조정합니다. 8개의 원격 감지 OVSS 벤치마크에 대한 광범위한 실험 결과, 일관된 성능 향상을 보여주며, SeeCo의 효과성과 범용성을 입증합니다.

Open-vocabulary semantic segmentation (OVSS) in remote sensing images is a promising task that employs textual descriptions for identifying undefined land cover categories. Despite notable advances, existing methods typically employ a static inference paradigm, overlooking the distinct distribution of each scene, resulting in semantic ambiguity in diverse land covers and incomplete foreground activation. Motivated by this, we propose Seeking Consensus, termed SeeCo, a plug-and-play framework to boost the performance of training-free OVSS models in remote sensing images, which recalibrates arbitrary OVSS models on-the-fly by seeking dual consensus: geometric consensus learning (GCL) through multi-view consistent observations and semantic consensus learning (SCL) via textual description adaptive calibration, which assists collaborative recalibration of visual and textual semantics. The two consensus are injected via an online consensus injector (OCI), effectively alleviating the under-activation and semantic bias. SeeCo requires no specific training process, yet recalibrates semantic-geometric alignment for each unique scene during inference. Extensive experiments on eight remote sensing OVSS benchmarks show consistent gains, proving its effectiveness and universality.