NeoMap: 단일 이미지 및 비디오로부터 학습 없이 새로운 시점 영상을 생성하는 방법

NeoMap: Training-free Novel-View Synthesis from Single Images and Videos

본 연구에서는 단일 이미지 또는 단안 비디오로부터 새로운 시점 영상을 합성하는 어려운 문제를 다룬다. 기존 방법들은 일반적으로 사전 훈련된 비디오 모델이 자체적으로 새로운 시점 합성 능력을 갖추지 못하며, 카메라 조건 설정, 작업별 미세 조정 또는 단계별 노이즈 제거 지침을 통해 시점을 일치시킨다는 가정하에 작동한다. 이러한 방법들은 종종 아티팩트가 발생하고 전체적인 장면의 일관성이 저해되는 문제를 안고 있다. 본 논문에서는 일반적인 사전 훈련된 비디오 모델로부터 고품질이며 시점적으로 일관성 있는 새로운 시점 솔루션을 찾도록 설계된, 학습이 필요 없는 새로운 프레임워크인 NeoMap을 소개한다. 우리의 접근 방식의 핵심은 사전 훈련된 모델이 학습하는 자연스러운 비디오 데이터 공간에 유망한 새로운 시점 솔루션이 내재적으로 포함되어 있으며, 핵심 과제는 이러한 최적의 솔루션을 찾는 데 있다는 점이다. 우리는 초기 노이즈를 최적화하는 수렴형 매니폴드 교차 투영 반복을 통해 이를 해결한다. 광범위한 실험 결과, NeoMap은 Tanks-and-Temples, LLFF 및 DAVIS 데이터 세트와 같은 3가지 표준 새로운 시점 합성 벤치마크에서 기존의 모든 방법보다 훨씬 뛰어난 성능을 보이며, 최고 수준의 생성 품질과 시점 일관성을 달성했다.

We study the challenging problem of novel view video synthesis from single images or monocular videos. Existing methods, which operate under the assumption that pre-trained video models lack native novel view synthesis capability and enforce view alignment via camera conditioning, task-specific fine-tuning, or stepwise hard denoising guidance, often suffer from artifacts and compromised global scene consistency. In this paper, we introduce NeoMap, a novel training-free framework designed to locate high-fidelity, view-consistent novel view solutions from general pre-trained video models. The key to our approach is the core insight that promising novel view solutions are inherently encoded within the natural video data manifold learned by pre-trained models, and the core challenge is simply to locate this optimal solution. We solve this via our core mechanism: convergent manifold alternating projection iterations that optimize the initial noise. Extensive experiments demonstrate that NeoMap significantly outperforms all existing methods across 3 standard novel view synthesis benchmarks, including the challenging Tanks-and-Temples, LLFF and DAVIS datasets, achieving state-of-the-art generation fidelity and top-tier view consistency.