DramaDirector: 기하학 기반의 짧은 드라마 생성

DramaDirector: Geometry-Guided Short Drama Generation

짧은 드라마는 빠른 촬영 속도, 대화 중심의 장면 전환, 그리고 까다로운 영상 기술적 요소들로 인해, 단순히 프롬프트 또는 텍스트 기반의 비디오 생성 시스템으로는 해결하기 어려운 과제들을 제시합니다. 본 연구에서는 전체 줄거리와 지역적인 맥락을 시각적으로 구현된 다수의 장면으로 변환하는, 즉 줄거리-짧은 드라마 생성을 연구합니다. 우리는 DramaDirector라는 기하학적 정보를 활용하는 프레임워크를 제안하며, 이 프레임워크는 생성 과정에서 실제 짧은 드라마 촬영 영상 데이터베이스의 깊이 및 자세 정보를 활용하여 영상의 구성 요소를 결정합니다. DramaDirector는 각 장면을 정적인 시각 요소와 역동적인 스토리 흐름으로 분리하고, 학습된 텍스트-시각적 정렬 보상을 기반으로 스키마 제약 조건 하에서 SFT (Supervised Fine-Tuning) 및 GRPO (Generative Reinforcement Policy Optimization)를 사용하여 생성 모델을 학습합니다. 또한, 깊이와 자세 정보를 활용하여 첫 번째 프레임 생성과 이미지-비디오 합성 과정을 안내합니다. 더불어, 35편의 실사 드라마, 2.8K 에피소드, 그리고 81,000개의 장면으로 구성된 DramaBoard라는 벤치마크 데이터셋을 구축하고, 체계적인 스토리보드와 다차원 평가 프로토콜을 제공합니다. 실험 결과는 DramaDirector가 대표적인 멀티 에이전트 및 비디오 생성 모델보다 정확성, 일관성 및 제어 가능성 측면에서 우수한 성능을 보임을 보여줍니다. 본 연구의 코드는 다음 주소에서 확인할 수 있습니다: https://github.com/iLearn-Lab/DramaDirector

Short dramas, with their rapid shot rhythms, dialogue-driven focus shifts, and demanding cinematographic grounding, pose challenges that prompt-level or text-only video generation pipelines struggle to meet. We study plot-to-short-drama generation, where a global plot and local context are transformed into visually grounded multi-shot videos. We propose DramaDirector, a geometry-grounded framework that lets the planner borrow cinematographic geometry from a gallery of real short-drama shots indexed by depth and pose. DramaDirector decouples each shot into static visual and dynamic narrative conditions, trains the planner with schema-constrained SFT and GRPO under a learned text-visual alignment reward, and retrieves depth-pose references to guide first-frame generation and image-to-video synthesis. We also introduce DramaBoard, a benchmark built from 35 live-action dramas, 2.8K episodes, and 81K shots, with structured storyboards and multi-dimensional evaluation protocols. Experiments show that DramaDirector improves over representative multi-agent and video generation baselines on faithfulness, consistency, and controllability. Our code is released at: https://github.com/iLearn-Lab/DramaDirector