GA-GS: 생성 기반 가우시안 스플래팅 - 정적 장면 복원을 위한 방법

GA-GS: Generation-Assisted Gaussian Splatting for Static Scene Reconstruction

단안 비디오에서 동적인 객체가 존재하는 정적 3D 장면을 복원하는 것은 가상 현실 및 자율 주행과 같은 다양한 응용 분야에서 중요합니다. 현재의 방법들은 일반적으로 정적 장면 복원을 위해 배경에 의존하며, 이는 동적인 객체에 의해 가려진 영역을 복원하는 능력을 제한합니다. 본 논문에서는 정적 장면 복원을 위한 생성 기반 가우시안 스플래팅 방법인 GA-GS를 제안합니다. 본 연구의 핵심적인 혁신은 생성을 활용하여 가려진 영역의 복원을 돕는다는 점입니다. 우리는 움직임 인지 모듈을 사용하여 동적인 영역을 분할하고 제거한 후, 디퓨전 모델을 사용하여 가려진 영역을 채워 넣어 준(pseudo-ground-truth supervision) 데이터를 생성합니다. 실제 배경과 생성된 영역의 기여도를 균형 있게 조절하기 위해, 각 가우시안 원시 데이터에 대해 학습 가능한 진위성 스칼라를 도입하여 스플래팅 과정에서 투명도를 동적으로 조절함으로써 진위성을 고려한 렌더링 및 감독을 수행합니다. 기존의 데이터셋 중에는 동적인 객체가 포함된 비디오의 정적 장면 데이터에 대한 ground truth 데이터가 존재하지 않으므로, 우리는 고정 경로 로봇을 사용하여 각 장면을 동적인 객체 유무에 따라 기록하는 데이터셋인 Trajectory-Match를 구축하여, 가려진 영역 복원에 대한 정량적 평가를 가능하게 합니다. DAVIS 데이터셋과 자체 구축한 데이터셋 모두에서 수행한 광범위한 실험 결과, GA-GS는 특히 대규모의 지속적인 가려짐이 존재하는 어려운 시나리오에서 정적 장면 복원에서 최첨단 성능을 달성함을 보여줍니다.

Reconstructing static 3D scene from monocular video with dynamic objects is important for numerous applications such as virtual reality and autonomous driving. Current approaches typically rely on background for static scene reconstruction, limiting the ability to recover regions occluded by dynamic objects. In this paper, we propose GA-GS, a Generation-Assisted Gaussian Splatting method for Static Scene Reconstruction. The key innovation of our work lies in leveraging generation to assist in reconstructing occluded regions. We employ a motion-aware module to segment and remove dynamic regions, and thenuse a diffusion model to inpaint the occluded areas, providing pseudo-ground-truth supervision. To balance contributions from real background and generated region, we introduce a learnable authenticity scalar for each Gaussian primitive, which dynamically modulates opacity during splatting for authenticity-aware rendering and supervision. Since no existing dataset provides ground-truth static scene of video with dynamic objects, we construct a dataset named Trajectory-Match, using a fixed-path robot to record each scene with/without dynamic objects, enabling quantitative evaluation in reconstruction of occluded regions. Extensive experiments on both the DAVIS and our dataset show that GA-GS achieves state-of-the-art performance in static scene reconstruction, especially in challenging scenarios with large-scale, persistent occlusions.