GeoGuide: 계층적 기하학적 지침을 활용한 오픈 보카불러리 3D 의미 분할

GeoGuide: Hierarchical Geometric Guidance for Open-Vocabulary 3D Semantic Segmentation

오픈 보카불러리 3D 의미 분할은 학습 데이터셋에 포함되지 않은 임의의 범주를 분할하는 것을 목표로 합니다. 기존 방법들은 주로 2D 오픈 보카불러리 모델로부터 지식을 추출하는 데 의존합니다. 그러나 3D 특징을 2D 표현 공간에 맞춰 조정하는 것은 고유한 3D 기하학적 학습을 제한하고 2D 예측에서 발생하는 오류를 상속합니다. 이러한 한계점을 해결하기 위해, 우리는 사전 학습된 3D 모델을 활용하여 계층적 기하학-의미 일관성을 통합하는 새로운 프레임워크인 GeoGuide를 제안합니다. 구체적으로, 우리는 불확실성 기반의 슈퍼포인트 증류 모듈을 도입하여 기하학적 및 의미적 특징을 결합하고 각 지점에 대한 불확실성을 추정하며, 슈퍼포인트 내에서 2D 특징의 가중치를 적응적으로 조정하여 노이즈를 억제하면서 동시에 차별적인 정보를 보존하여 로컬 의미 일관성을 향상시킵니다. 또한, 인스턴스 수준의 마스크 재구성 모듈은 기하학적 사전 정보를 활용하여 인스턴스 내의 의미 일관성을 강화하기 위해 완전한 인스턴스 마스크를 재구성합니다. 게다가, 인스턴스 간 관계 일관성 모듈은 기하학적 및 의미적 유사성 행렬을 정렬하여 동일 범주 객체에 대한 인스턴스 간 일관성을 조정하여 시점 변화로 인한 의미적 드리프트를 완화합니다. ScanNet v2, Matterport3D 및 nuScenes 데이터셋에 대한 광범위한 실험 결과는 GeoGuide가 우수한 성능을 보임을 입증합니다.

Open-vocabulary 3D semantic segmentation aims to segment arbitrary categories beyond the training set. Existing methods predominantly rely on distilling knowledge from 2D open-vocabulary models. However, aligning 3D features to the 2D representation space restricts intrinsic 3D geometric learning and inherits errors from 2D predictions. To address these limitations, we propose GeoGuide, a novel framework that leverages pretrained 3D models to integrate hierarchical geometry-semantic consistency for open-vocabulary 3D segmentation. Specifically, we introduce an Uncertainty-based Superpoint Distillation module to fuse geometric and semantic features for estimating per-point uncertainty, adaptively weighting 2D features within superpoints to suppress noise while preserving discriminative information to enhance local semantic consistency. Furthermore, our Instance-level Mask Reconstruction module leverages geometric priors to enforce semantic consistency within instances by reconstructing complete instance masks. Additionally, our Inter-Instance Relation Consistency module aligns geometric and semantic similarity matrices to calibrate cross-instance consistency for same-category objects, mitigating viewpoint-induced semantic drift. Extensive experiments on ScanNet v2, Matterport3D, and nuScenes demonstrate the superior performance of GeoGuide.