RAG-3DSG: 재촬영 기반 가이드 Retrieval-Augmented Generation을 활용한 3D 장면 그래프 개선

RAG-3DSG: Enhancing 3D Scene Graphs with Re-Shot Guided Retrieval-Augmented Generation

오픈 보카불러리 기반 3D 장면 그래프(3DSG) 생성은 로봇 공학의 다양한 하위 작업, 예를 들어 조작 및 탐색에 구조화된 의미 표현을 활용하여 성능을 향상시킬 수 있습니다. 3DSG는 장면의 여러 이미지로부터 구성되며, 객체는 노드로, 관계는 엣지로 표현됩니다. 그러나 기존의 오픈 보카불러리 3DSG 생성 방법은 제한된 시야, 가려짐, 그리고 불필요한 표면 밀도 등으로 인해 객체 수준의 낮은 인식 정확도와 속도 문제를 겪습니다. 이러한 문제점을 해결하기 위해, 우리는 재촬영 기반 가이드 불확실성 추정을 통해 데이터 통합 과정에서 발생하는 노이즈를 줄이고, 신뢰성 있는 낮은 불확실성을 가진 객체를 활용하여 객체 수준의 Retrieval-Augmented Generation(RAG)을 지원하는 RAG-3DSG를 제안합니다. 또한, 우리는 적응적인 세분성을 가진 객체 간의 이미지 매핑 속도를 가속화하기 위한 동적 다운샘플링-매핑 전략을 제안합니다. Replica 데이터셋에 대한 실험 결과, RAG-3DSG는 3DSG 생성 과정에서 노드 캡셔닝 정확도를 크게 향상시키는 동시에, 일반적인 방법과 비교하여 매핑 시간을 약 2/3로 줄이는 것을 보여줍니다.

Open-vocabulary 3D Scene Graph (3DSG) can enhance various downstream tasks in robotics by leveraging structured semantic representations, yet current 3DSG construction methods suffer from semantic inconsistencies caused by noisy cross-image aggregation under occlusions and constrained viewpoints. To mitigate the impact of such inconsistency, we propose RAG-3DSG, which introduces re-shot guided uncertainty estimation. By measuring the semantic consistency between original limited viewpoints and re-shot optimal viewpoints, this method quantifies the underlying semantic ambiguity of each graph object. Based on this quantification, we devise an Object-level Retrieval-Augmented Generation (RAG) that leverages low-uncertainty objects as semantic anchors to retrieve more reliable contextual knowledge, enabling a Vision-Language Model to rectify the predictions of uncertain objects and optimize the final 3DSG. Extensive evaluations across three challenging benchmarks and real-world robot trials demonstrate that RAG-3DSG achieves superior recall and precision, effectively mitigating semantic noise to provide highly reliable scene representations for robotics tasks.