생성 기반 재구성: 희소 관측으로부터 3D 다중 객체 장면 재구성

Reconstruction by Generation: 3D Multi-Object Scene Reconstruction from Sparse Observations

희소한 관측 데이터로부터 복잡한 다중 객체 장면을 정확하게 재구성하는 것은 컴퓨터 비전 분야의 핵심적인 과제이며, 로봇 공학 분야에서 확장 가능하고 신뢰성 있는 시뮬레이션을 위한 중요한 단계입니다. 본 연구에서는 RecGen이라는 생성 프레임워크를 제안합니다. RecGen은 객체와 부분의 형태, 그리고 가려짐 또는 부분적인 가시성 상태에서 객체의 자세를 확률적으로 동시에 추정합니다. RecGen은 합성 장면 생성 및 강력한 3D 형태 사전 지식을 활용하여 다양한 객체 유형과 실제 환경에 대한 일반화 성능을 제공합니다. RecGen은 복잡하고 심하게 가려진 데이터셋에서 최첨단 성능을 달성하며, 심각한 가려짐, 대칭 객체, 객체 부분, 복잡한 기하학적 구조 및 텍스처를 안정적으로 처리합니다. RecGen은 이전 최고 성능 모델인 SAM3D보다 80% 적은 학습 메시 데이터를 사용하면서도, 기하학적 형태 품질에서 30.1%, 텍스처 재구성에서 9.1%, 자세 추정에서 33.9% 향상된 성능을 보입니다.

Accurately reconstructing complex full multi-object scenes from sparse observations remains a core challenge in computer vision and a key step toward scalable and reliable simulation for robotics. In this work, we introduce RecGen, a generative framework for probabilistic joint estimation of object and part shapes, as well as their pose under occlusion and partial visibility from one or multiple RGB-D images. By leveraging compositional synthetic scene generation and strong 3D shape priors, RecGen generalizes across diverse object types and real-world environments. RecGen achieves state-of-the-art performance on complex, heavily occluded datasets, robustly handling severe occlusions, symmetric objects, object parts, and intricate geometry and texture. Despite using nearly 80% fewer training meshes than the previous state of the art SAM3D, RecGen outperforms it by 30.1% in geometric shape quality, 9.1% in texture reconstruction, and 33.9% in pose estimation.