DreamLoop: 단일 사진으로부터 제어 가능한 시네마그래프 생성

DreamLoop: Controllable Cinemagraph Generation from a Single Photograph

시네마그래프는 정지된 사진과 선택적인 반복 움직임을 결합하여 독특한 예술적 매력을 제공합니다. 단일 사진으로부터 제어 가능한 방식으로 시네마그래프를 생성하는 것은 특히 어려운 문제입니다. 기존의 이미지-애니메이션 기술은 단순하고 낮은 주파수의 움직임에 제한되며, 물이나 연기와 같은 반복적인 질감을 가진 좁은 영역에서만 작동합니다. 반면, 대규모 비디오 디퓨전 모델은 시네마그래프의 제약 조건을 고려하지 않으며, 매끄럽고 제어된 반복을 생성하는 데 필요한 특수한 데이터를 갖추고 있지 않습니다. 본 논문에서는 시네마그래프 생성만을 위해 설계된 제어 가능한 비디오 합성 프레임워크인 DreamLoop을 제시합니다. DreamLoop은 시네마그래프 학습 데이터 없이 단일 사진으로부터 시네마그래프를 생성합니다. 핵심 아이디어는 일반적인 비디오 디퓨전 모델을 시간 연결(temporal bridging)과 모션 조건부 학습(motion conditioning)이라는 두 가지 목표를 통해 학습시켜 모델을 조정하는 것입니다. 이러한 전략은 유연한 시네마그래프 생성을 가능하게 합니다. 추론 과정에서 입력 이미지를 첫 번째 프레임과 마지막 프레임 조건으로 사용하여 매끄러운 반복을 강제합니다. 정적인 트랙을 조건으로 사용하여 정적인 배경을 유지합니다. 또한, 사용자가 지정한 움직임 경로를 대상 객체에 적용하여 애니메이션의 경로와 타이밍에 대한 직관적인 제어를 제공합니다. 저희가 알고 있는 한, DreamLoop은 일반적인 장면에서 유연하고 직관적인 제어를 통해 시네마그래프 생성을 가능하게 하는 첫 번째 방법입니다. 저희는 DreamLoop이 기존 방법보다 우수한 성능을 보이며, 사용자의 의도에 부합하는 고품질의 복잡한 시네마그래프를 생성함을 보여줍니다.

Cinemagraphs, which combine static photographs with selective, looping motion, offer unique artistic appeal. Generating them from a single photograph in a controllable manner is particularly challenging. Existing image-animation techniques are restricted to simple, low-frequency motions and operate only in narrow domains with repetitive textures like water and smoke. In contrast, large-scale video diffusion models are not tailored for cinemagraph constraints and lack the specialized data required to generate seamless, controlled loops. We present DreamLoop, a controllable video synthesis framework dedicated to generating cinemagraphs from a single photo without requiring any cinemagraph training data. Our key idea is to adapt a general video diffusion model by training it on two objectives: temporal bridging and motion conditioning. This strategy enables flexible cinemagraph generation. During inference, by using the input image as both the first- and last- frame condition, we enforce a seamless loop. By conditioning on static tracks, we maintain a static background. Finally, by providing a user-specified motion path for a target object, our method provides intuitive control over the animation's trajectory and timing. To our knowledge, DreamLoop is the first method to enable cinemagraph generation for general scenes with flexible and intuitive controls. We demonstrate that our method produces high-quality, complex cinemagraphs that align with user intent, outperforming existing approaches.