단안 카메라로 촬영된 인간의 가려짐 현상에 대한 불확실성 기반 4차원 가우시안 스플래팅을 활용한 고품질 렌더링

Uncertainty-Aware 4D Gaussian Splatting for Monocular Occluded Human Rendering

단안 영상에서 동적인 사람들의 모습을 고품질로 렌더링하는 것은 가려짐 현상이 발생할 때 심각하게 성능 저하를 일으키는 경우가 많습니다. 기존 방법들은 외부 정보를 활용하는데, 생성 모델을 사용하여 누락된 내용을 추정하면 심각한 시간적 깜박임이 발생하고, 경직된 기하학적 규칙을 적용하면 다양한 외형을 제대로 반영하지 못합니다. 이에 우리는 이 문제를 불균일 관측 노이즈 하에서의 최대 사후 확률 추정 문제로 재구성했습니다. 본 논문에서는 확률 기반 변형 네트워크와 통합 래스터화 파이프라인을 결합한 프레임워크인 U-4DGS를 제안합니다. 이 아키텍처는 픽셀 단위의 불확실성 지도를 생성하며, 이는 적응적인 기울기 조절기로 작용하여 신뢰할 수 없는 관측으로 인한 왜곡 현상을 자동으로 줄입니다. 또한, 시각적으로 신뢰할 만한 정보가 부족한 영역에서 기하학적 왜곡을 방지하기 위해, 학습된 불확실성을 활용하여 공간-시간적인 타당성을 선택적으로 유지하는 '신뢰도 기반 정규화'를 적용합니다. ZJU-MoCap 및 OcMotion 데이터셋에 대한 광범위한 실험 결과, U-4DGS는 최첨단 수준의 렌더링 정확도와 안정성을 달성함을 보여줍니다.

High-fidelity rendering of dynamic humans from monocular videos typically degrades catastrophically under occlusions. Existing solutions incorporate external priors-either hallucinating missing content via generative models, which induces severe temporal flickering, or imposing rigid geometric heuristics that fail to capture diverse appearances. To this end, we reformulate the task as a Maximum A Posteriori estimation problem under heteroscedastic observation noise. In this paper, we propose U-4DGS, a framework integrating a Probabilistic Deformation Network and a Joint Rasterization pipeline. This architecture renders pixel-aligned uncertainty maps that act as an adaptive gradient modulator, automatically attenuating artifacts from unreliable observations. Furthermore, to prevent geometric drift in regions lacking reliable visual cues, we enforce Confidence-Aware Regularizations, which leverage the learned uncertainty to selectively propagate spatial-temporal validity. Extensive experiments on the ZJU-MoCap and OcMotion datasets demonstrate that U-4DGS achieves state-of-the-art rendering fidelity and robustness.