모션 인지 애니메이션 가능 가우시안 아바타의 블러 제거

Motion-Aware Animatable Gaussian Avatars Deblurring

다중 시점 비디오로부터 3차원 인간 아바타를 생성하는 것은 컴퓨터 비전 분야에서 매우 중요하지만 어려운 과제입니다. 그러나 기존 기술들은 고품질, 선명한 이미지를 입력으로 사용하는데, 이는 실제 환경에서 인간의 움직임 속도와 강도의 변화로 인해 얻기 어려울 수 있습니다. 본 논문에서는 흐릿한 비디오로부터 직접 선명한 3차원 인간 가우시안 아바타를 재구성하는 새로운 방법을 제시합니다. 제안된 방법은 인간 움직임으로 인한 블러 현상을 모델링하는 3차원 인지 기반 물리 모델과, 움직임에 의한 불확실성을 해소하도록 설계된 3차원 인간 움직임 모델을 결합합니다. 이 프레임워크는 초기 추정값을 기준으로 아바타 표현과 움직임 파라미터를 동시에 최적화할 수 있도록 합니다. 합성 데이터셋과 360도 동기 하이브리드 노출 카메라 시스템으로 촬영된 실제 데이터셋을 사용하여 종합적인 성능 평가를 수행했습니다. 광범위한 실험 결과는 모델이 다양한 조건에서 효과적으로 작동함을 보여줍니다. 코드 제공: https://github.com/MyNiuuu/MAD-Avatar

The creation of 3D human avatars from multi-view videos is a significant yet challenging task in computer vision. However, existing techniques rely on high-quality, sharp images as input, which are often impractical to obtain in real-world scenarios due to variations in human motion speed and intensity. This paper introduces a novel method for directly reconstructing sharp 3D human Gaussian avatars from blurry videos. The proposed approach incorporates a 3D-aware, physics-based model of blur formation caused by human motion, together with a 3D human motion model designed to resolve ambiguities in motion-induced blur. This framework enables the joint optimization of the avatar representation and motion parameters from a coarse initialization. Comprehensive benchmarks are established using both a synthetic dataset and a real-world dataset captured with a 360-degree synchronous hybrid-exposure camera system. Extensive evaluations demonstrate the effectiveness of the model across diverse conditions. Codes Available: https://github.com/MyNiuuu/MAD-Avatar