MotionCrafter: 4차원 VAE를 활용한 밀집 기하 구조 및 동역학 복원

MotionCrafter: Dense Geometry and Motion Reconstruction with a 4D VAE

본 논문에서는 MotionCrafter라는 비디오 확산 모델 기반 프레임워크를 소개합니다. 이 프레임워크는 단일 카메라 영상을 통해 4차원 기하 구조를 복원하고 밀집된 동역학을 추정합니다. 저희 방법의 핵심은 공유 좌표계에서 밀집된 3차원 점 클라우드와 3차원 장면 흐름을 결합한 새로운 표현 방식과, 이 표현 방식을 효과적으로 학습하기 위한 새로운 4차원 VAE입니다. 기존 연구에서는 3차원 값과 잠재 변수를 RGB VAE 잠재 변수와 엄격하게 일치시키도록 강제했지만, 이는 근본적으로 다른 분포를 가지므로 최적의 성능을 달성하기 어렵다는 것을 보여줍니다. 대신, 저희는 확산 사전 지식을 더 잘 활용하고 복원 품질을 크게 향상시키는 새로운 데이터 정규화 및 VAE 학습 전략을 도입했습니다. 여러 데이터 세트에 대한 광범위한 실험 결과, MotionCrafter는 기하 구조 복원 및 밀집 장면 흐름 추정 모두에서 최첨단 성능을 달성했으며, 추가적인 후처리 없이 각각 기하 구조 복원 및 동역학 복원에서 38.64% 및 25.0%의 성능 향상을 보였습니다. 프로젝트 페이지: https://ruijiezhu94.github.io/MotionCrafter_Page

We introduce MotionCrafter, a video diffusion-based framework that jointly reconstructs 4D geometry and estimates dense motion from a monocular video. The core of our method is a novel joint representation of dense 3D point maps and 3D scene flows in a shared coordinate system, and a novel 4D VAE to effectively learn this representation. Unlike prior work that forces the 3D value and latents to align strictly with RGB VAE latents-despite their fundamentally different distributions-we show that such alignment is unnecessary and leads to suboptimal performance. Instead, we introduce a new data normalization and VAE training strategy that better transfers diffusion priors and greatly improves reconstruction quality. Extensive experiments across multiple datasets demonstrate that MotionCrafter achieves state-of-the-art performance in both geometry reconstruction and dense scene flow estimation, delivering 38.64% and 25.0% improvements in geometry and motion reconstruction, respectively, all without any post-optimization. Project page: https://ruijiezhu94.github.io/MotionCrafter_Page