ReFlow: 동적 장면 복원을 위한 자체 수정 모션 학습

ReFlow: Self-correction Motion Learning for Dynamic Scene Reconstruction

본 논문에서는 단안 카메라 영상을 사용하여 3차원 동적 장면을 복원하는 통합 프레임워크인 ReFlow를 제안합니다. 기존 방법들은 종종 동적 영역에 대한 불완전한 장면 초기화로 인해 불안정한 복원 및 모션 추정 문제를 겪으며, 이를 해결하기 위해 사전 계산된 광류와 같은 외부의 밀집 모션 정보를 활용하여 복원 과정을 안정화하고 제약하기도 합니다. 하지만 이러한 방식은 추가적인 복잡성을 야기하고 잠재적인 오류 전파 문제를 일으킬 수 있습니다. 이러한 문제점을 해결하기 위해, ReFlow는 정적 및 동적 영역의 초기화를 향상시키는 Complete Canonical Space Construction 모듈과, 정적 및 동적 구성 요소를 분리하여 목표 모션 제어를 수행하는 Separation-Based Dynamic Scene Modeling 모듈을 통합합니다. ReFlow의 핵심은 새로운 자체 수정 플로우 매칭 메커니즘으로, 이는 3차원 장면 플로우를 시간 변화에 따른 2차원 관측값과 일치시키는 Full Flow Matching과, 정적 객체에 대한 다중 뷰 일관성을 강제하는 Camera Flow Matching으로 구성됩니다. 이러한 모듈들은 함께 강력하고 정확한 동적 장면 복원을 가능하게 합니다. 다양한 시나리오에서의 광범위한 실험 결과는 ReFlow가 우수한 복원 품질과 안정성을 달성하며, 단안 4D 복원을 위한 새로운 자체 수정 패러다임을 제시함을 보여줍니다.

We present ReFlow, a unified framework for monocular dynamic scene reconstruction that learns 3D motion in a novel self-correction manner from raw video. Existing methods often suffer from incomplete scene initialization for dynamic regions, leading to unstable reconstruction and motion estimation, which often resorts to external dense motion guidance such as pre-computed optical flow to further stabilize and constrain the reconstruction of dynamic components. However, this introduces additional complexity and potential error propagation. To address these issues, ReFlow integrates a Complete Canonical Space Construction module for enhanced initialization of both static and dynamic regions, and a Separation-Based Dynamic Scene Modeling module that decouples static and dynamic components for targeted motion supervision. The core of ReFlow is a novel self-correction flow matching mechanism, consisting of Full Flow Matching to align 3D scene flow with time-varying 2D observations, and Camera Flow Matching to enforce multi-view consistency for static objects. Together, these modules enable robust and accurate dynamic scene reconstruction. Extensive experiments across diverse scenarios demonstrate that ReFlow achieves superior reconstruction quality and robustness, establishing a novel self-correction paradigm for monocular 4D reconstruction.