다중 시점 정보를 활용한 제어 가능한 비디오 객체 삽입

Controllable Video Object Insertion via Multi-View Priors

비디오 객체 삽입은 기존 환경에 새로운 객체를 동적으로 추가하는 데 중요한 기술입니다. 기존 비디오 생성 방법은 주로 전체 장면을 합성하는 데 초점을 맞추지만, 기존 비디오에 객체를 삽입할 때 객체의 일관성, 공간적 정렬, 시간적 일관성을 확보하는 데 어려움을 겪습니다. 본 논문에서는 다중 시점 객체 정보를 통합하여 동적 환경에서 발생하는 객체 일관성 문제 및 가려짐 문제를 해결하는 새로운 비디오 객체 삽입 방법을 제안합니다. 우리는 2D 참조 이미지를 다중 시점 표현으로 변환하고, 이중 경로 기반의 시점 일관성 조건부 생성 메커니즘을 활용하여 안정적인 객체 표현 및 다양한 시점에서의 견고한 통합을 보장합니다. 또한, 품질을 고려한 가중치 메커니즘을 사용하여 노이즈가 있거나 불완전한 입력 데이터를 적응적으로 처리합니다. 추가적으로, 공간적 현실감을 보장하고, 가려짐 및 경계 문제를 효과적으로 해결하며, 프레임 간 시간적 연속성을 유지하는 통합 인식 일관성 모듈을 도입했습니다. 실험 결과는 제안하는 방법이 비디오 객체 삽입의 품질을 크게 향상시키며, 안정적이고 현실적인 통합을 제공한다는 것을 보여줍니다.

Video object insertion places a user-specified object in an existing dynamic scene. Existing methods typically condition generation on text or a single reference image. Consequently, object appearance is underconstrained under viewpoint changes, often leading to identity drift, incorrect foreground-background layering, boundary artifacts, and temporal flickering. In this paper, we propose a video object insertion framework that incorporates multi-view object priors to address these limitations. The framework lifts a 2D reference image into a multi-view representation and uses view-consistent conditioning to provide stable identity guidance and view-adaptive appearance cues. A quality-aware weighting mechanism reduces the influence of noisy or imperfect reconstructed views. We further introduce an Integration-Aware Consistency Module that promotes plausible occlusion, clean boundaries, and temporal continuity. Experiments demonstrate that the proposed framework improves visual quality, controllability, identity consistency, and foreground-background integration for video object insertion compared to the baseline methods. Project page: https://polarisxq.github.io/MOVI/.