QueryGaussian: 확장 가능하고 학습이 필요 없는 오픈 보카불러리 기반 3차원 객체 검색

QueryGaussian: Scalable and Training-Free Open-Vocabulary 3D Instance Retrieval

자연어 프롬프트를 사용하여 대규모 장면에서 특정 3차원 객체를 효율적으로 검색하는 것은 멀티미디어 분석 분야의 중요한 과제입니다. 기존 접근 방식은 주로 "장면 수준 임베딩" 패러다임을 따르며, 이는 모든 3차원 원시 데이터에 고차원의 의미 정보를 압축해야 합니다. 이러한 전략은 근본적인 아키텍처적 병목 현상을 가지고 있으며, 장면의 복잡성이 증가함에 따라 메모리와 계산 비용이 선형적으로 증가하여 도시 규모 환경에서 결국 메모리 부족(OOM) 오류를 유발합니다. 이러한 문제점을 해결하기 위해, 우리는 학습이 필요 없는 빠르고 확장 가능한 오픈 보카불러리 기반 3차원 객체 검색 프레임워크인 QueryGaussian을 제안합니다. QueryGaussian은 전체적인 의미 정보를 압축하는 대신, 인스턴스 수준의 쿼리 메커니즘을 사용하여 의미 이해와 기하학적 표현을 분리합니다. 구체적으로, 우리는 사전 학습된 2D 비전 모델을 활용하여 사용자 프롬프트를 해석하고, 동시 최대 가중치 연관 전략을 통해 세그먼트 마스크를 3차원으로 변환하여 의미-시각 일관성을 보장합니다. 투영의 모호성을 완화하기 위해, 우리는 다단계 적응형 밀도 클러스터링을 사용하는 시간 결합 모듈을 도입했습니다. 실험 결과는 QueryGaussian이 최첨단 방법과 동등한 정확도를 달성하는 동시에 상당한 효율성 향상을 제공하며, GPU 메모리 사용량을 70% 이상 줄이고 추론 속도를 180배 가속화한다는 것을 보여줍니다. 더욱 중요한 것은 QueryGaussian을 통해 소비자급 하드웨어를 사용하여 수백만 개의 Gaussian 분포를 포함하는 도시 규모의 장면에서 빠른 객체 검색이 가능하다는 것입니다.

Efficiently retrieving specific 3D instances from large-scale scenes via natural language prompts remains a formidable challenge in multimedia analysis. Existing approaches predominantly follow a "scene-level embedding" paradigm, which requires distilling high-dimensional semantic features into every 3D primitive. This strategy suffers from a fundamental architectural bottleneck: memory and computational costs scale linearly with scene complexity, inevitably triggering out-of-memory (OOM) failures in city-scale environments. To address this barrier, we propose QueryGaussian, a training-free framework for expeditious and scalable open-vocabulary 3D instance retrieval. Unlike holistic semantic distillation, QueryGaussian employs an instance-level query mechanism that decouples semantic understanding from geometric representation. Specifically, we leverage pre-trained 2D vision models to interpret user prompts and lift segmentation masks into 3D via a concurrent maximum-weight association strategy, ensuring semantic-visual consistency. To mitigate projection ambiguity, we introduce a temporal fusion module with multi-stage adaptive density clustering. Experimental results demonstrate that QueryGaussian not only matches the accuracy of state-of-the-art methods but also delivers a decisive efficiency leap, reducing GPU memory usage by over 70% and accelerating inference by 180x. Crucially, QueryGaussian enables expeditious instance retrieval on city-scale scenes containing tens of millions of Gaussians using consumer-grade hardware.