PruneGround: 3D 시각적 객체 지향화를 위한 플러그 앤 플레이 공간 가지치기 방법

PruneGround: Plug-and-play Spatial Pruning for 3D Visual Grounding

3D 시각적 객체 지향화(3DVG)는 자연어 설명을 기반으로 3차원 장면에서 대상 객체의 위치를 특정하는 것을 목표로 합니다. 기존 연구들은 일반적으로 전체 장면을 대상으로 추론을 수행하여, 복잡한 환경에서 모호한 예측과 높은 계산 비용을 초래합니다. 본 논문에서는 많은 지시 표현이 지역적 공간 맥락에 의존하며, 전체 장면보다는 제한된 공간 영역과 관련된다는 점에 주목했습니다. 이러한 통찰력을 바탕으로, 우리는 세 가지 핵심 구성 요소로 이루어진 3DVG를 위한 효과적인 플러그 앤 플레이 프레임워크인 PruneGround를 제안합니다. 첫째, 우리는 언어 기반 공간 가지치기(LGSP)를 도입하여, 고정된 비전-언어 모델(VLM)을 활용하여 언어와 관련된 영역을 식별하고, 이를 통해 공간 계산량을 줄이고 더 좁은 검색 공간에서 객체 지향 후보를 찾습니다. 둘째, 우리는 다중 뷰 기반 설명 재구성(MCDR)을 제안하며, 복잡한 표현을 단순화된 대상-앵커 관계로 분해하고, 다중 뷰 추론을 통해 누락된 공간 정보를 보완합니다. 마지막으로, 우리는 검출 모델로 사전 학습된 공간 LLM을 언어 조건부 지향 모델인 LLM-Grounder로 재활용하여, 가지치기된 영역 내에서 포인트 클라우드와 언어 표현을 정렬합니다. 세 가지 대표적인 포인트 클라우드 벤치마크에 대한 광범위한 실험 결과는 우리 방법이 모든 ScanRefer 설정과 Nr3D/Sr3D 설정의 9가지 중 10가지에서 최첨단 성능을 달성한다는 것을 보여줍니다. 코드 및 모델은 공개적으로 제공됩니다: https://github.com/leduckhai/PruneGround

3D Visual Grounding (3DVG) aims to localize target objects in 3D scenes given natural language descriptions. Existing approaches typically perform reasoning over the entire scene, leading to ambiguous predictions and high computational cost, especially in cluttered environments. We observe that many referential expressions rely on local spatial context and often correspond to restricted spatial regions rather than the full scene. Motivated by this insight, we propose PruneGround, an effective plug-and-play framework for 3DVG built upon three key components. First, we introduce Language-Guided Spatial Pruning (LGSP), which leverages a frozen Vision Language Model (VLM) to identify language-relevant regions, thereby reducing spatial computation and grounding candidates in the narrower search space. Second, we propose MultiView-Conditioned Description Reformulation (MCDR), which decomposes complex expressions into simplified target-anchor relations and augments missing spatial cues through multi-view reasoning. Finally, we propose LLM-Grounder, which repurposes a detection-pretrained spatial LLM into a language-conditioned grounding model by aligning point cloud and linguistic representations within the pruned region. Extensive experiments on the three most popular point cloud benchmarks demonstrate that our method achieves state-of-the-art results on all three ScanRefer settings and on 9 out of 10 Nr3D/Sr3D settings. Code and models are publicly available: https://github.com/leduckhai/PruneGround