UniqueSplat: 시점 정보를 활용한 3D 가우시안 스플래팅 모델을 통한 일반화된 3차원 재구성

UniqueSplat: View-conditioned 3D Gaussian Splatting for Generalizable 3D Reconstruction

본 논문에서는 각 시점에 최적화된 3차원 방사휘도 필드를 재구성하기 위한 시점 정보를 반영하는 피드포워드 방식의 3D 가우시안 스플래팅 모델인 UniqueSplat을 제안합니다. 기존의 pixelSplat 및 MVSplat과 같은 피드포워드 방법들은 각 장면의 모든 시점에 대해 고정된 가우시안 분포를 생성하며, 렌더링된 이미지와 실제 이미지 간의 오차를 최소화하는 방식으로 작동합니다. 그러나 이러한 고정된 가우시안은 모든 시점에서 이미지를 렌더링하며 특정 시점에 대한 적응력이 부족하기 때문에, 가우시안을 예측할 때 목표 시점 정보를 고려하지 않습니다. 이를 해결하기 위해, UniqueSplat은 시점 정보를 사전 지식으로 학습하고 이 지식을 네트워크 파라미터에 통합하여, 다양한 시점에 따라 가우시안 분포를 동적으로 조정합니다. 특히, 우리는 시점 정보에 따라 분기되는 하이퍼네트워크를 제안하여, 시점 불변적인 임베딩과 시점에 특화된 지식을 동시에 학습하도록 합니다. 이를 통해 다양한 시점에서 얻을 수 있는 공유 가능한 지식을 활용하고, 테스트 시 특정 시점에 모델을 적응시킬 수 있습니다. RealEstate10K, ACID 및 DTU와 같은 널리 사용되는 데이터 세트에 대한 광범위한 실험 결과는 UniqueSplat이 최첨단 방법보다 우수함을 입증합니다. 또한, UniqueSplat은 여러 데이터 세트에서 기존 방법보다 뛰어난 성능을 보여주어 주목할 만한 일반화 능력을 갖추고 있음을 나타냅니다.

In this paper, we propose UniqueSplat, a view-conditioned feed-forward 3D Gaussian Splatting model to reconstruct customized 3D radiance fields for each view query. Existing feed-forward methods such as pixelSplat and MVSplat aim to generate fixed Gaussians across all views of each scene by minimizing the error between rendered views and ground-truth images. However, such fixed Gaussians generally render images from all views and lack the ability to adapt to specific viewpoints, as they do not incorporate target view information when predicting Gaussians. To address this, our UniqueSplat learns the view-conditioned information as a prior and incorporates this knowledge into network parameters, so that Gaussians are dynamically adjusted in accordance with different views. Specifically, we propose a two-branch view-conditioned hyperNetwork to simultaneously learn view-agnostic embeddings and view-specific knowledge, which not only explores the shareable knowledge from various views, but also adapts the model to specific views at test time. Extensive experiments on widely-used datasets including RealEstate10K, ACID and DTU demonstrate the superiority of UniqueSplat over the state-of-the-art methods. Moreover, UniqueSplat encouragingly outperforms existing methods in cross-dataset evaluation, showing its notable generalization ability.