형태를 넘어선 동작: 추상적인 동작 표현을 활용한 범주 간 동작 전이

Motion Beyond Morphology: Bootstrapping Cross-Category Motion Transfer from Abstract Motion Representations

영상 동작 전이는 참조 영상의 역학적 특성을 이용하여 대상 객체를 움직이게 하는 기술입니다. 기존 방식은 주로 고정된 구조적 대응에 의존하지만, 참조 객체와 대상 객체가 형태, 관절 운동 또는 변형 메커니즘에서 크게 다를 경우 이러한 방식은 제대로 작동하지 않습니다. 본 연구에서는 '형태를 넘어선 동작(Motion Beyond Morphology)'이라는 새로운 관점을 제시합니다. 이는 고정된 구조적 대응을 벗어나 다양한 대상의 형태에 걸쳐 의미 있는 역학적 특성을 보존함으로써 동작을 전이하는 것을 목표로 합니다. 이를 위해 두 단계 프레임워크를 제안합니다. 1단계에서는 상호 보완적인 다중 수준 추상적 동작 표현을 학습하고, 이를 사용하여 다양한 형태에서 전이 가능한 역학적 특성을 유지하는 범주 간 영상 쌍을 구축합니다. 2단계에서는 이러한 감독 신호를 직접 참조-영상 기반 생성에 통합하여 추론 시 명시적인 동작 추출의 필요성을 제거합니다. 또한 이미지 및 텍스트 기반 동작 전이를 동일, 유사, 상이한 범주 간에서 학습하고 평가하기 위한 OpenVMT-Dataset과 OpenVMT-Bench를 소개하며, 채택될 경우 공개할 예정입니다. 광범위한 실험을 통해 제안하는 방법이 최첨단 수준의 동작 충실도와 대상 보존 성능을 달성함을 확인했습니다. 프로젝트 페이지: https://miniz233.github.io/MotionBeyondMorphology/

Video motion transfer aims to animate a target object using dynamics from a reference video. Existing formulations largely rely on fixed structural correspondence, which becomes ill-defined when reference and target objects differ substantially in morphology, articulation, or deformation mechanisms. We introduce Motion Beyond Morphology, a perspective that seeks to transfer motion beyond fixed structural correspondence, by preserving dynamics that remain meaningful across different target morphologies. To realize this, we propose a two-stage framework. Stage~I learns complementary multi-granularity abstract motion views and uses them to bootstrap cross-category video pairs that preserve transferable dynamics across diverse morphologies. Stage~II internalizes this supervision into direct reference-video-conditioned generation, removing the need for explicit motion extraction at inference. We further introduce OpenVMT-Dataset and OpenVMT-Bench for training and evaluating image- and text-conditioned motion transfer across Same, Near, and Far category gaps, and plan to release both upon acceptance. Extensive experiments demonstrate state-of-the-art motion fidelity and target preservation. Project page: https://miniz233.github.io/MotionBeyondMorphology/