OmniDirector: 크로스-페어 데이터 없이 가능한 일반적인 다중 샷 카메라 복제

OmniDirector: General Multi-Shot Camera Cloning without Cross-Paired Data

비디오 생성에서 비디오는 직관적이고 정확한 제어를 제공하므로, 참조 비디오로부터 카메라 움직임을 복제하는 것은 중요한 과제입니다. 기존 방법들은 주로 매개변수 표현을 직접 사용하거나 크로스-페어 데이터를 합성하는데, 이는 다중 샷 생성을 처리하지 못하거나 데이터 부족으로 인해 복잡한 카메라 움직임 복제 성능이 저하되는 문제를 야기합니다. 이러한 문제점을 해결하기 위해, 우리는 카메라를 그리드 모션 비디오로 인코딩하는 일반적인 카메라 움직임 표현 방식을 도입했습니다. 이 카메라 그리드는 시각적으로 카메라 매개변수를 표현하며, 다양한 궤적을 통합하여 다중 샷 비디오 생성을 지원합니다. 이를 바탕으로, 저희는 백만 규모의 카메라 그리드-비디오 페어 데이터셋으로 학습된 통합 프레임워크인 OmniDirector를 제안합니다. OmniDirector는 캐릭터, 액션 및 카메라를 조정하여 멀티모달 디퓨전 트랜스포머에 감독자 수준의 제어를 제공합니다. 또한, 저희는 신호 간의 관계를 이해하여 카메라 움직임과 시각적 콘텐츠를 체계적으로 설명함으로써 다양한 제어 신호를 조화롭게 통합하는 새로운 계층적 프롬프트 확장 에이전트를 설계했습니다. 광범위한 실험 결과는 저희 프레임워크가 우수한 성능과 뛰어난 제어 가능성을 제공함을 입증합니다. 프로젝트 페이지: https://ymlinfeng.github.io/OmniDirector.github.io/

Cloning camera motion from reference videos is an important task in video generation, as videos provide intuitive and precise control. Existing methods either directly use parametric representations that fail to handle multi-shot generation or synthesize cross-paired data, which suffer from data scarcity, resulting in poor performance in complicated camera motion cloning. To address these issues, we introduce a general camera motion representation that encodes cameras as grid motion videos. This camera grid represents the camera parameters visually and supports the integration of diverse trajectories for multi-shot video generation. Building upon this, we propose OmniDirector, a unified framework trained on a million-scale camera grid-video pairs that coordinates characters, actions, and cameras to provide director-level control for multimodal diffusion transformers. Furthermore, we design a novel hierarchical prompt expansion agent that harmoniously integrates different control signals by systematically describing camera motion and visual content through understanding signal relationships. Extensive experiments demonstrate the superior performance and outstanding controllability of our framework. Project page: https://ymlinfeng.github.io/OmniDirector.github.io/