GS$^{2}$CI: 대규모 비전 모델 사전 지식을 활용한 스냅샷 압축 이미징을 위한 강력한 가우시안 분산 방법

GS$^{2}$CI: Robust Gaussian Splatting For Snapshot Compressive Imaging via Large Vision Model Priors

스냅샷 압축 이미징(SCI)은 고속 비디오 획득 및 카메라-장면 상대 운동 하에서의 다중 시점 장면 캡처를 위해 시간 또는 공간 정보를 단일 2D 측정값으로 압축하는 효율적인 솔루션을 제공합니다. 최근 연구에서는 SCI를 사용하여 3차원 장면 복원을 시도했지만, 기존 방법은 정보 손실, 제한된 시점 다양성 및 3차원 표현과 카메라 자세를 동시에 최적화하는 데 따른 계산 부담이라는 중요한 문제에 직면해 있습니다. 본 논문에서는 3차원 가우시안 분산(3DGS)과 대규모 비전 기반 모델(VFM)의 강력한 사전 지식을 활용하여 단일 SCI 측정값으로부터 고품질 3차원 장면을 복원하는 새로운 프레임워크를 제안합니다. 우리의 주요 복원 방법은 측정값을 기반으로 한 3차원 VFM 초기화와 SCI에 대한 가우시안 최적화를 결합합니다. 초기 단계의 수렴 후, 보조적인 2차원 VFM이 합성된 시점에서 가이드 역할을 하여 지역적인 외관을 개선합니다. 또한, 3DGS 최적화 과정에서 발생하는 모호한 SCI 감독으로 인한 불안정성을 해결하기 위해, SCI에 특화된 밀집화 전략인 Opacity-Guided Splitting and Growth Regulation (OSGR)을 도입했습니다. OSGR은 지역적인 불투명도 통계치를 사용하여 분할 후보를 강화하고, 평균 불투명도 조절을 통해 손실 보상을 위한 과도한 불투명도 증가를 억제하며, 명시적인 후보 비율 및 가우시안 개수 제약을 통해 표현의 성장을 제한합니다. 다양한 벤치마크에서 수행된 광범위한 실험 결과는 우리의 방법이 최고 수준의 전반적인 성능을 달성하며, 뛰어난 복원 품질과 시점 변화에 대한 강건성을 경쟁력 있는 계산 효율성과 함께 제공함을 보여줍니다.

Snapshot Compressive Imaging (SCI) offers an efficient solution for high-speed video acquisition and, under exposure-time camera--scene relative motion, multi-view scene capture by compressing temporal or spatial information into a single 2D measurement. While recent studies have explored SCI for 3D scene reconstruction, existing methods struggle with significant challenges due to information loss, limited viewpoint diversity, and the computational burden of jointly optimizing 3D representations and camera poses. In this work, we propose a novel framework that reconstructs high-quality 3D scenes from a single SCI measurement by leveraging 3D Gaussian Splatting (3DGS) and the powerful priors of large-scale vision foundation models (VFMs). Our primary reconstruction combines measurement-derived 3D VFM initialization with SCI-aware Gaussian optimization. After coarse-stage convergence, an auxiliary 2D VFM provides pseudo-view supervision at synthesized viewpoints for local appearance refinement. To further address the instability caused by ambiguous SCI supervision during 3DGS optimization, we introduce Opacity-Guided Splitting and Growth Regulation (OSGR), an SCI-specific densification strategy that augments split candidates using local opacity statistics, discourages loss-compensating opacity inflation through mean-opacity regulation, and bounds representation growth with explicit candidate-ratio and Gaussian-count constraints. Extensive experiments across multiple benchmarks demonstrate that our method achieves the strongest overall performance, combining leading reconstruction quality and robustness to viewpoint variation with competitive computational efficiency.