Kiwi-Edit: 지시 및 참조 기반의 다재다능한 비디오 편집

Kiwi-Edit: Versatile Video Editing via Instruction and Reference Guidance

지시 기반 비디오 편집은 빠른 발전을 이루었지만, 현재 방법은 자연어의 한계로 인해 복잡한 시각적 뉘앙스를 정확하게 제어하는 데 어려움을 겪습니다. 참조 기반 편집은 강력한 해결책을 제공하지만, 고품질의 쌍을 이루는 학습 데이터 부족으로 인해 잠재력이 제한됩니다. 이러한 격차를 해소하기 위해, 기존의 비디오 편집 데이터를 고품질의 학습 데이터 묶음으로 변환하는 확장 가능한 데이터 생성 파이프라인을 도입했습니다. 이 파이프라인은 이미지 생성 모델을 활용하여 합성된 참조 틀을 생성합니다. 이 파이프라인을 사용하여 지시-참조-준수 작업을 위한 대규모 데이터셋인 RefVIE를 구축하고, 포괄적인 평가를 위한 RefVIE-Bench를 개발했습니다. 또한, 학습 가능한 쿼리와 잠재적인 시각적 특징을 결합하여 참조 기반의 의미론적 가이딩을 제공하는 통합 편집 아키텍처인 Kiwi-Edit을 제안합니다. 제안하는 모델은 점진적인 다단계 학습 커리큘럼을 통해 지시 준수 및 참조 충실도 측면에서 상당한 성능 향상을 달성합니다. 광범위한 실험 결과는 제안하는 데이터와 아키텍처가 제어 가능한 비디오 편집 분야에서 새로운 최고 수준의 성능을 달성함을 보여줍니다. 모든 데이터셋, 모델 및 코드는 https://github.com/showlab/Kiwi-Edit 에서 제공됩니다.

Instruction-based video editing has witnessed rapid progress, yet current methods often struggle with precise visual control, as natural language is inherently limited in describing complex visual nuances. Although reference-guided editing offers a robust solution, its potential is currently bottlenecked by the scarcity of high-quality paired training data. To bridge this gap, we introduce a scalable data generation pipeline that transforms existing video editing pairs into high-fidelity training quadruplets, leveraging image generative models to create synthesized reference scaffolds. Using this pipeline, we construct RefVIE, a large-scale dataset tailored for instruction-reference-following tasks, and establish RefVIE-Bench for comprehensive evaluation. Furthermore, we propose a unified editing architecture, Kiwi-Edit, that synergizes learnable queries and latent visual features for reference semantic guidance. Our model achieves significant gains in instruction following and reference fidelity via a progressive multi-stage training curriculum. Extensive experiments demonstrate that our data and architecture establish a new state-of-the-art in controllable video editing. All datasets, models, and code is released at https://github.com/showlab/Kiwi-Edit.