움직임으로부터의 세계: 단안 동영상 기반 생성적 다이나믹 가우시안 재구성

World from Motion: Generative Dynamic Gaussian Reconstruction from Monocular Video

본 논문에서는 'World from Motion'이라는 방법을 제안합니다. 이 방법은 단안(단일 카메라) 동영상을 이용하여 자유롭게 렌더링 가능한 다이나믹 3D 가우시안 표현을 생성하는 기술입니다. 저희의 접근 방식은 입력 및 대상 카메라 경로 모두에 대한 밀집된, 픽셀 정렬된 렌더링을 사용하여 영상 모델을 학습시키며, 이를 통해 초기 재구성에서 발생하는 렌더링 오류를 수정하고 누락된 영역을 채워 넣습니다. 이 모델을 학습하기 위해, 저희는 시뮬레이션된 단안 재구성과 관련된 아티팩트를 포함하는 정렬된 다중 뷰 동영상 쌍과 다이나믹 3D 가우시안 표현 데이터셋을 구축했습니다. 테스트 단계에서, 저희는 모델의 생성 결과, 즉 새로 관찰된 영역 및 움직임을 하나의 일관성 있고 고품질의 다이나믹 3D 가우시안 표현으로 통합하여 새로운 시점에서의 합성을 개선하고 기본적인 3차원 움직임을 향상시킵니다. 저희 방법은 4차원 재구성에 있어 새로운 최고 수준을 달성하며, 큰 시점 변화와 동적인 움직임을 가진 실제 동영상에도 원활하게 적용될 수 있습니다.

We present World from Motion, a method for generating freely renderable dynamic 3D Gaussian representations from monocular videos. Our approach conditions a video model on dense, pixel-aligned renderings that encode appearance, geometry, and 3D scene motion along both input and target camera trajectories to correct rendering artifacts and fill in missing regions from an initial reconstruction. To train this model, we construct a dataset of aligned multiview video pairs and dynamic 3DGS representations, with simulated artifacts characteristic of monocular reconstruction. At test time, we distill the model's generations, including newly observed regions and motions, back into a single consistent, high-quality dynamic 3DGS, improving both novel-view synthesis and the underlying 3D motion. Our method sets a new state of the art in 4D reconstruction and seamlessly generalizes to in-the-wild videos with large viewpoint changes and dynamic motions.