OutLangSplat: UAV 외부 환경 장면을 위한 3차원 언어 가우시안 스플래팅

OutLangSplat: 3D Language Gaussian Splatting for UAV Outdoor Scenes

OutLangSplat은 개방형 어휘의 언어 특징을 3차원 가우시안 스플래팅에 통합하여, 텍스트 기반의 3차원 장면 이해를 위한 효율적인 명시적 표현 방식을 제공합니다. 그러나 기존 방법들은 실내 또는 소규모 환경에 국한되어 있으며, 심각한 폐색 및 먼 거리 시야가 발생하는 UAV 외부 환경에서 정확한 의미론적 활성화 실패 및 대상 인식 오류와 같은 문제를 보입니다. 본 논문에서는 언어 가우시안 표현을 UAV 외부 환경에 적용하여 특징 표현과 집계의 신뢰성을 향상시키는 OutLangSplat 방법을 제안합니다. 특징 표현 측면에서, 영역 기반 정렬 및 융합을 통한 2D-3D 이중 분기 구조를 설계하여 공간적 일관성을 개선하고, 불완전한 대상 인식 오류 및 배경 활성화 문제를 줄입니다. 특징 집계 측면에서는 학습 과정이 필요 없는 기여도 기반 전략과 일관성 인지 가우시안 특징 집계 방식을 도입하여, 노이즈가 많은 시야에서 발생하는 신뢰할 수 없는 응답을 억제하기 위해 픽셀 기여도 신뢰성과 다중 시점 간의 의미론적 일관성을 활용합니다. 본 연구에서는 실제 UAV 외부 환경 데이터셋 네 가지에 대해 다양한 객체를 수동으로 어노테이션하여 새로운 데이터셋을 구축했습니다. 현재까지 공개된 바 있는, UAV 외부 환경에서의 개방형 어휘 기반 3차원 장면 이해를 위한 최초의 데이터셋이라고 할 수 있습니다. 정량적 평가 및 분석 결과는 OutLangSplat이 최첨단 방법들을 능가하는 성능을 보임을 보여주며, 이는 개방형 어휘 기반 의미론적 분할 및 인스턴스 위치 추정 작업 모두에 해당됩니다. 데이터셋과 코드는 공개될 예정입니다.

3D Language Gaussian Splatting embeds open-vocabulary language features into 3D Gaussian Splatting, providing an efficient explicit representation for text-driven 3D scene understanding. However, existing methods are limited to indoor or small-scale scenes, and tend to fail in Unmanned Aerial Vehicle (UAV) outdoor scenes, where severe occlusions and long distance viewpoints often lead to incorrect semantic activations and missing target responses. In this paper, we present OutLangSplat which adapts language Gaussian representations to UAV outdoor scenes by improving feature representation and aggregation reliability. For the feature representation, a 2D-3D dual-branch representation with region-based alignment and fusion is designed to improve spatial consistency, reducing incomplete target responses and background misactivations. For the feature aggregation, we introduce a training-free contribution and consistency-aware Gaussian feature aggregation strategy that leverages pixel contribution reliability and cross-view semantic consistency to suppress unreliable responses from noisy viewpoints. A new dataset is provided by manually annotating various objects on four real-world public UAV outdoor scene datasets. To the best of our knowledge, it is the first accessible dataset of open-vocabulary 3D scene understanding for UAV outdoor scenes. Quantitative evaluations and ablation studies demonstrate that OutLangSplat outperforms SOTA methods on both open-vocabulary semantic segmentation and instance localization tasks. The datasets and codes will be open-sourced.