다중 시점 정보를 활용한 제어 가능한 비디오 객체 삽입

Controllable Video Object Insertion via Multiview Priors

비디오 객체 삽입은 기존 환경에 새로운 객체를 동적으로 추가하는 데 중요한 기술입니다. 기존 비디오 생성 방법은 주로 전체 장면을 합성하는 데 초점을 맞추지만, 기존 비디오에 객체를 삽입할 때 객체의 일관성, 공간적 정렬, 시간적 일관성을 확보하는 데 어려움을 겪습니다. 본 논문에서는 다중 시점 객체 정보를 통합하여 동적 환경에서 발생하는 객체 일관성 문제 및 가려짐 문제를 해결하는 새로운 비디오 객체 삽입 방법을 제안합니다. 우리는 2D 참조 이미지를 다중 시점 표현으로 변환하고, 이중 경로 기반의 시점 일관성 조건부 생성 메커니즘을 활용하여 안정적인 객체 표현 및 다양한 시점에서의 견고한 통합을 보장합니다. 또한, 품질을 고려한 가중치 메커니즘을 사용하여 노이즈가 있거나 불완전한 입력 데이터를 적응적으로 처리합니다. 추가적으로, 공간적 현실감을 보장하고, 가려짐 및 경계 문제를 효과적으로 해결하며, 프레임 간 시간적 연속성을 유지하는 통합 인식 일관성 모듈을 도입했습니다. 실험 결과는 제안하는 방법이 비디오 객체 삽입의 품질을 크게 향상시키며, 안정적이고 현실적인 통합을 제공한다는 것을 보여줍니다.

Video object insertion is a critical task for dynamically inserting new objects into existing environments. Previous video generation methods focus primarily on synthesizing entire scenes while struggling with ensuring consistent object appearance, spatial alignment, and temporal coherence when inserting objects into existing videos. In this paper, we propose a novel solution for Video Object Insertion, which integrates multi-view object priors to address the common challenges of appearance inconsistency and occlusion handling in dynamic environments. By lifting 2D reference images into multi-view representations and leveraging a dual-path view-consistent conditioning mechanism, our framework ensures stable identity guidance and robust integration across diverse viewpoints. A quality-aware weighting mechanism is also employed to adaptively handle noisy or imperfect inputs. Additionally, we introduce an Integration-Aware Consistency Module that guarantees spatial realism, effectively resolving occlusion and boundary artifacts while maintaining temporal continuity across frames. Experimental results show that our solution significantly improves the quality of video object insertion, providing stable and realistic integration.