SmartDirector: 키프레임 기반의 서사적 흐름 제어를 통한 영화 같은 비디오 생성

SmartDirector: Keyframe-Conditioned Cinematic Video Generation with Narrative Pacing Control

비디오의 서사적인 품질은 그 가치에 근본적으로 영향을 미칩니다. 기존의 비디오 생성 방법들은 시각적으로 매력적인 콘텐츠를 생성할 수 있지만, 대부분 텍스트 프롬프트나 첫 번째/마지막 프레임과 같은 제한적인 조건 정보에 의존하여 서사 구조와 시간적 흐름에 대한 정밀한 제어를 어렵게 만듭니다. 본 논문에서는 여러 키프레임을 활용하여 비디오 생성 모델의 서사적 능력을 향상시키는 프레임워크인 SmartDirector를 제안합니다. SmartDirector는 단일 장면 생성, 다중 장면 서사 합성, 비디오 확장 등 다양한 생성 시나리오를 지원합니다. 이 프레임워크는 두 단계로 작동합니다. 첫 번째 단계인 Director-Gen은 제공된 키프레임을 기반으로 저해상도 비디오를 생성하고, 두 번째 단계인 Director-SR은 고해상도 키프레임을 의미론적 앵커로 활용하여 세부적인 디테일을 복원함으로써 출력을 개선합니다. 견고한 다중 키프레임 학습을 위해 영화에서 추출된 단일 장면 및 다중 장면 시퀀스를 포함하는 데이터 파이프라인을 구축했습니다. 광범위한 실험 결과, SmartDirector는 기존의 최첨단 접근 방식보다 현저히 우수한 성능을 보이는 것으로 나타났습니다. 추가 연구를 촉진하기 위해 코드를 공개할 예정입니다.

The narrative quality of a video fundamentally determines its perceptual value. Although existing video generation methods can produce visually appealing content, they predominantly rely on sparse conditioning signals such as text prompts or first/last frames, which limits precise control over narrative structure and temporal pacing. In this paper, we propose SmartDirector, a framework that enhances the narrative capacity of video generation models through multiple keyframes. SmartDirector supports flexible generation scenarios including single-shot generation, multi-shot narrative synthesis, and video extension. The framework operates in two stages: Director-Gen generates a low-resolution video conditioned on the provided keyframes, and Director-SR refines the output by exploiting high-resolution keyframes as semantic anchors to recover fine-grained details. To enable robust multi-keyframe training, we construct a data pipeline that curates single-shot and multi-shot sequences from movies. Extensive experiments demonstrate that SmartDirector substantially outperforms existing state-of-the-art approaches. We will release the code to facilitate further research.