FAST-GS: 주파수 인지 시공간 가우시안 분산 기술을 이용한 사실적인 동적 신규 시점 합성

FAST-GS: Frequency Aware Space-time Gaussian Splatting for Photorealistic Dynamic Novel View Synthesis

4차원 가우시안 분산(4DGS)은 효율적인 4차원 가우시안 표현과 병렬 처리 방식을 통해 동적 3차원 재구성 및 실시간 신규 시점 합성에 뛰어난 성능을 보입니다. 그러나 기존의 4DGS 방식은 움직임을 모델링하기 위해 단일 다항식을 사용하며, 이는 고주파 움직임 성분이 많은 복잡한 동적 장면에서 성능을 제한하고 누적된 경로 편차로 인해 장기적인 안정성을 확보하지 못합니다. 이러한 문제를 해결하기 위해 우리는 푸리에 모션 모델링(Fourier Motion Modeling) 모듈을 제안합니다. 이 방법은 움직임을 주파수 기반의 사인 함수 성분으로 분해하여 저주파 전역 궤적과 고주파 국소 디테일을 모두 포착하여 복잡한 움직임 패턴을 정확하게 모델링합니다. 이는 4DGS의 실시간 렌더링 능력을 유지하면서 복잡한 움직임 적합성과 장기적인 일관성을 향상시킵니다. 또한, 손실 함수에 움직임을 고려한 정규화 전략을 통합하여 주파수 의존적인 가중치를 사용하여 고주파 떨림을 억제하고 저주파 움직임의 일관성을 유지합니다. N3V 및 Google Immersive 데이터 세트를 사용한 다양한 실험 결과는 제안하는 방법의 효과를 입증합니다.

4D Gaussian Splatting (4DGS) excels in dynamic 3D reconstruction and real-time novel view synthesis via efficient 4D Gaussian representations and parallelizable rendering. However, existing 4DGS approaches rely on a single polynomial to model motion, which limits performance in complex dynamic scenes where high-frequency motion components are prevalent, and fails to ensure long-term stability due to cumulative trajectory drift. To address these issues, we propose a Fourier Motion Modeling module: this paradigm decomposes motion into frequency-based sinusoidal components, capturing both low-frequency global trajectories and high-frequency local details to model complex motion patterns accurately. It retains the real-time rendering capability of 4DGS while improving complex motion fitting and long-term coherence. Additionally, we integrate a motion-aware regularization strategy into the loss function: it uses frequency-dependent weights to suppress high-frequency jitter while preserving low-frequency motion coherence. Extensive experiments on N3V and Google Immersive datasets from multiple scenarios demonstrate the effectiveness of our method.