SkeletonGaussian: 가우시안 스켈레톤화를 통한 편집 가능한 4차원 생성

SkeletonGaussian: Editable 4D Generation through Gaussian Skeletonization

4차원 생성 기술은 입력 텍스트, 이미지 또는 비디오로부터 동적인 3차원 객체를 합성하는 데 상당한 발전을 이루었습니다. 그러나 기존 방법들은 종종 움직임을 암묵적인 변형 필드로 표현하여, 직접적인 제어 및 편집 가능성을 제한합니다. 이러한 문제를 해결하기 위해, 본 연구에서는 단일 카메라 비디오 입력을 기반으로 편집 가능한 동적 3차원 가우시안을 생성하는 새로운 프레임워크인 SkeletonGaussian을 제안합니다. 저희의 접근 방식은 계층적 관절 표현을 도입하여 움직임을 희소한 강체 움직임과 미세한 비강체 움직임으로 분해하며, 이는 명시적으로 스켈레톤에 의해 제어됩니다. 구체적으로, 저희는 견고한 스켈레톤을 추출하고 선형 블렌드 스키닝을 통해 강체 움직임을 구동한 다음, 헥스플레인 기반의 정제를 통해 비강체 변형을 수행하여 해석 가능성과 편집 가능성을 향상시킵니다. 실험 결과는 SkeletonGaussian이 기존 방법들보다 생성 품질이 우수하며 직관적인 움직임 편집을 가능하게 함을 보여주며, 이는 편집 가능한 4차원 생성의 새로운 패러다임을 제시합니다. 프로젝트 페이지: https://wusar.github.io/projects/skeletongaussian/

4D generation has made remarkable progress in synthesizing dynamic 3D objects from input text, images, or videos. However, existing methods often represent motion as an implicit deformation field, which limits direct control and editability. To address this issue, we propose SkeletonGaussian, a novel framework for generating editable dynamic 3D Gaussians from monocular video input. Our approach introduces a hierarchical articulated representation that decomposes motion into sparse rigid motion explicitly driven by a skeleton and fine-grained non-rigid motion. Concretely, we extract a robust skeleton and drive rigid motion via linear blend skinning, followed by a hexplane-based refinement for non-rigid deformations, enhancing interpretability and editability. Experimental results demonstrate that SkeletonGaussian surpasses existing methods in generation quality while enabling intuitive motion editing, establishing a new paradigm for editable 4D generation. Project page: https://wusar.github.io/projects/skeletongaussian/