인간 중심 비디오 생성에서 합성 데이터 증강의 역할 탐구: 제어 가능한 비디오 생성

Exploring the Role of Synthetic Data Augmentation in Controllable Human-Centric Video Generation

제어 가능한 인간 비디오 생성은 명시적으로 제어된 동작과 외형을 가진 현실적인 인간 비디오를 생성하는 것을 목표로 하며, 디지털 휴먼, 애니메이션 및 인체화된 AI의 기반이 됩니다. 그러나 대규모, 다양한, 프라이버시를 보호하는 인간 비디오 데이터셋의 부족은, 특히 희귀한 신원 및 복잡한 동작의 경우, 주요한 제약 조건이 됩니다. 합성 데이터는 확장 가능하고 제어 가능한 대안을 제공하지만, 지속적인 시뮬레이션-현실 격차로 인해 생성 모델링에서의 실제 기여도는 충분히 연구되지 않았습니다. 본 연구에서는 제어 가능한 인간 비디오 생성에 대한 합성 데이터의 영향을 체계적으로 조사합니다. 우리는 외형과 동작에 대한 세밀한 제어를 가능하게 하고, 학습 과정에서 합성 데이터가 실제 데이터와 어떻게 상호 작용하는지 분석하기 위한 통합 테스트 환경을 제공하는 확산 기반 프레임워크를 제안합니다. 광범위한 실험을 통해, 합성 데이터와 실제 데이터의 상호 보완적인 역할을 밝히고, 동작의 현실감, 시간적 일관성 및 신원 보존을 향상시키기 위한 효율적인 합성 데이터 샘플 선택 방법을 제시합니다. 본 연구는 인간 중심 비디오 합성에 대한 합성 데이터의 역할을 처음으로 종합적으로 탐구하고, 데이터 효율적이고 일반화 가능한 생성 모델을 구축하기 위한 실질적인 통찰력을 제공합니다.

Controllable human video generation aims to produce realistic videos of humans with explicitly guided motions and appearances,serving as a foundation for digital humans, animation, and embodied AI.However, the scarcity of largescale, diverse, and privacy safe human video datasets poses a major bottleneck, especially for rare identities and complex actions.Synthetic data provides a scalable and controllable alternative,yet its actual contribution to generative modeling remains underexplored due to the persistent Sim2Real gap.In this work,we systematically investigate the impact of synthetic data on controllable human video generation. We propose a diffusion-based framework that enables fine-grained control over appearance and motion while providing a unfied testbed to analyze how synthetic data interacts with real world data during training. Through extensive experiments, we reveal the complementary roles of synthetic and real data and demonstrate possible methods for efficiently selecting synthetic samples to enhance motion realism,temporal consistency,and identity preservation.Our study offers the first comprehensive exploration of synthetic data's role in human-centric video synthesis and provides practical insights for building data-efficient and generalizable generative models.