FlashMotion: 경로 지침을 활용한 소수 단계 제어 비디오 생성

FlashMotion: Few-Step Controllable Video Generation with Trajectory Guidance

최근 경로 제어 비디오 생성 분야에서 괄목할 만한 발전이 있었습니다. 기존 방법들은 주로 미리 정의된 경로를 따라 정확한 동작 제어를 위해 어댑터 기반 아키텍처를 사용합니다. 그러나 이러한 방법들은 대부분 다단계 노이즈 제거 과정을 거치므로 상당한 시간 중복과 계산 부담을 초래합니다. 기존 비디오 증류 방법들이 다단계 생성기를 소수 단계로 효율적으로 변환하는 데 성공했지만, 이러한 접근 방식을 경로 제어 비디오 생성에 직접 적용하면 비디오 품질과 경로 정확도 모두에서 눈에 띄는 성능 저하가 발생합니다. 이러한 격차를 해소하기 위해, 우리는 소수 단계 경로 제어 비디오 생성을 위한 새로운 학습 프레임워크인 FlashMotion을 제안합니다. 먼저, 다단계 비디오 생성기에서 경로 어댑터를 학습하여 정확한 경로 제어를 수행합니다. 그런 다음, 생성기를 소수 단계 버전으로 변환하여 비디오 생성 속도를 높입니다. 마지막으로, 확산 및 적대적 목표를 결합한 하이브리드 전략을 사용하여 어댑터를 미세 조정하여 소수 단계 생성기와 일치시키고, 고품질의 경로 정확성을 갖는 비디오를 생성합니다. 평가를 위해, 우리는 비디오 품질과 경로 정확성을 다양한 수의 전경 객체에 대해 측정하는, 장기간 시퀀스 경로 제어 비디오 생성에 대한 벤치마크인 FlashBench를 소개합니다. 두 가지 어댑터 아키텍처에 대한 실험 결과, FlashMotion은 기존 비디오 증류 방법과 기존 다단계 모델보다 시각적 품질과 경로 일관성 모두에서 우수한 성능을 보입니다.

Recent advances in trajectory-controllable video generation have achieved remarkable progress. Previous methods mainly use adapter-based architectures for precise motion control along predefined trajectories. However, all these methods rely on a multi-step denoising process, leading to substantial time redundancy and computational overhead. While existing video distillation methods successfully distill multi-step generators into few-step, directly applying these approaches to trajectory-controllable video generation results in noticeable degradation in both video quality and trajectory accuracy. To bridge this gap, we introduce FlashMotion, a novel training framework designed for few-step trajectory-controllable video generation. We first train a trajectory adapter on a multi-step video generator for precise trajectory control. Then, we distill the generator into a few-step version to accelerate video generation. Finally, we finetune the adapter using a hybrid strategy that combines diffusion and adversarial objectives, aligning it with the few-step generator to produce high-quality, trajectory-accurate videos. For evaluation, we introduce FlashBench, a benchmark for long-sequence trajectory-controllable video generation that measures both video quality and trajectory accuracy across varying numbers of foreground objects. Experiments on two adapter architectures show that FlashMotion surpasses existing video distillation methods and previous multi-step models in both visual quality and trajectory consistency.