EchoStyle: 역방향 데이터 합성 기반 고품질 비디오 스타일 변환

EchoStyle: Unlocking High-Fidelity Video Stylization with Reverse Data Synthesis

이미지 스타일 변환은 광범위하게 연구되어 왔지만, 비디오 스타일 변환은 지능형 콘텐츠 생성 분야에서 중요한 과제로 남아 있으며 아직 해결되지 않은 문제입니다. 기존 방법들은 일반적으로 참조 이미지를 스타일 사전으로 사용하지만, 콘텐츠 누수, 데이터 부족 및 긴 영상에 대한 제한적인 적용 가능성 등의 문제로 인해 최적의 결과를 얻지 못하며 심각한 스타일 드리프트와 모션 왜곡이 발생합니다. 이러한 문제를 해결하기 위해, 우리는 임의의 길이의 비디오를 고품질로 스타일 변환할 수 있는 확장 가능한 텍스트 기반 프레임워크인 EchoStyle을 제안합니다. 먼저, 비디오 콘텐츠와 텍스트 스타일을 적절하게 결합하는 영상-영상 아키텍처를 구축했습니다. 데이터 부족 문제를 해결하기 위해, 우리는 V-Style20k라는 대규모의 고품질 비디오 쌍 데이터셋을 구축하기 위한 자동 역합성 파이프라인을 개발했습니다. 긴 비디오 스타일 변환을 용이하게 하기 위해, 초기화 및 추적 모드 메커니즘과 슬라이딩 윈도우 추론 전략을 함께 사용합니다. 광범위한 실험 결과는 EchoStyle이 다양한 예술적 스타일에 걸쳐 뛰어난 성능을 보이며, 선도적인 독점 솔루션과 비교할 만하다는 것을 보여줍니다.

While image stylization has been studied extensively, video stylization remains a critical and largely unsolved challenge in the field of intelligent content creation. Existing methods, usually utilizing a reference image as the style prior, suffer from content leakage, data scarcity and limited adaptability to long videos, leading to suboptimal results with severe style drift and motion distortion. For these issues, we present EchoStyle, a scalable text-driven framework to achieve high-quality stylization of videos with arbitrary lengths. To start with, we construct a video-to-video architecture to appropriately re-fuse the video content and the text style. To address data scarcity, we pioneer an automatic reverse-synthesis pipeline to establish V-Style20k, a large-scale stylization dataset of 20k high-quality video pairs. To facilitate long video stylization, we devise an init-follow-mode mechanism along with a sliding-window inference strategy. Extensive experiments demonstrate EchoStyle's excellent performance across a wide range of artistic styles, even comparable to leading closed-source solutions.