VidMap: 비디오 기반 구조 복원을 위한 시간적 구조 활용

VidMap: Exploiting Temporal Structure for Video-Based Structure-from-Motion

어떤 제약 조건 없는 비디오에서도 정확하게 카메라의 보정 정보와 공간 위치를 복원하는 것은 내비게이션 및 장면 이해를 위한 대규모 학습 데이터를 확보하는 데 중요한 역할을 합니다. 이 문제를 해결하기 위한 기존 방법들은 다음과 같은 한계를 가지고 있습니다: 동시 위치 추정 및 매핑(SLAM)은 초기 조건에 민감하며, 인과적이고 점진적인 특성으로 인해 일시적인 오류가 발생하기 쉽고, 종종 실시간 작동을 위해 과도하게 최적화되며, 일반적으로 알려진 카메라 보정 정보가 필요합니다. 반면, 구조 복원(SfM)은 이미지 순서를 고려하지 않아 초기화 및 전역 최적화를 가능하게 하지만, 시각적 대칭 및 극단적인 움직임에 대한 강건성이 부족합니다. 이러한 격차를 해소하기 위해, 우리는 SLAM의 강력한 순차적 제약 조건과 오프라인 SfM의 유연성 및 전역 최적화를 결합하는 시스템을 소개합니다. 이 시스템은 임의의 길이와 보정되지 않은 비디오에 대한 공간 복원을 가능하게 합니다. 본 시스템은 광범위한 기준점 기반 밀집 이미지 매칭 기술의 최근 발전을 활용하고, 신뢰할 수 있는 루프 폐쇄를 위해 시간 순서를 핵심 요소로 간주하며, 전역 최적화에 공간 단안 깊이 사전 정보를 추가합니다. 그 결과, 극단적인 움직임과 시각적 대칭을 보이는 다양한 도전적인 데이터 세트에 대한 철저한 평가에서, 우리의 접근 방식은 알려진 또는 알 수 없는 카메라 보정을 갖춘 최첨단 SLAM 및 SfM보다 훨씬 더 강건하고 정확하다는 것을 확인했습니다. 코드의 공개 저장소 주소는 https://github.com/cvg/vidmap 입니다.

Accurately recovering the camera's calibration and metric poses for any unconstrained video would unlock large-scale training data for navigation and scene understanding. The dominant approaches to this problem are severely limited: Simultaneous Localization and Mapping (SLAM) is sensitive to initialization and transient failures due to its causal, incremental nature; it is often over-optimized for real-time operation and generally requires known camera calibration; while Structure-from-Motion (SfM) typically forgoes any image ordering, enabling optimal initialization and global optimization, but lacks robustness to visual symmetries and extreme motions. To bridge this gap, we introduce a system that combines the strong sequential constraints of SLAM with the flexibility and global optimization of offline SfM, enabling the metric reconstruction of arbitrary, long, uncalibrated videos. This system leverages recent advances in wide-baseline dense image matching, treats temporal ordering as a first-class citizen for reliable loop closure, and augments global optimization with metric monocular depth priors. As a result, thorough evaluations on diverse, challenging datasets that exhibit extreme motion and visual symmetries reveal that our approach is significantly more robust and accurate than both state-of-the-art SLAM and SfM, classical or learned, with given or unknown camera calibration. The code is publicly available at https://github.com/cvg/vidmap.