GenSplatCodec: 단일 단계 확산을 이용한 피드 포워드 가우시안 스플래팅 압축

GenSplatCodec: Feed-Forward Gaussian Splatting Compression via One-Step Diffusion

피드 포워드 방식의 3D 가우시안 스플래팅(3DGS)은 장면별 최적화 없이 확장 가능한 장면 복원을 가능하게 하지만, 저장 및 전송에 비용이 많이 드는 고밀도의 가우시안 분포를 생성합니다. 기존의 피드 포워드 가우시안 압축 방법들은 디코딩을 결정적인 표현 복구로 처리하는데, 이는 저비트율 환경에서 고주파 텍스처와 시점 의존적인 외관 정보가 손실될 경우 효과적이지 않습니다. 생성 모델은 유망한 대안이지만, 이를 독립적인 후처리 과정으로 사용하면 생성 과정과 전송된 장면 구조 간의 연결이 끊어져 시점 간 일관성이 저하됩니다. 이러한 한계점을 극복하기 위해, 우리는 기하학 정보를 활용한 생성 디코딩을 통해 저비트율 가우시안 압축을 재구성하는 통합 피드 포워드 가우시안 코덱인 GenSplatCodec을 제안합니다. 상세 정보에 민감한 피드 포워드 가우시안 인코딩 방식을 이중 스트림 방식으로 제시하며, 결과적으로 생성되는 간결한 가우시안 구조 스트림은 경량의 참조 외관 스트림으로 보완됩니다. 또한, 디코딩된 구조 및 외관 정보를 계층적 기하학 제어를 통해 함께 활용하여 고품질의 시점 일관성을 갖는 새로운 뷰를 복원하는 기하학 기반의 단일 단계 생성 디코딩 방식을 도입했습니다. 마지막으로, 통합 코덱 학습을 안정화하고 생성 디코더를 코덱에서 파생된 구조 및 외관 정보에 맞게 조정하기 위한 세 단계 최적화 전략을 개발했습니다. 다양한 데이터셋에서의 광범위한 실험 결과는 GenSplatCodec이 기존 방법들보다 우수한 압축 성능(rate-distortion)을 지속적으로 달성함을 보여줍니다.

Feed-forward 3D Gaussian Splatting (3DGS) enables scalable scene reconstruction without per-scene optimization, yet produces dense Gaussians that are costly to store and transmit. Existing feed-forward Gaussian compression methods formulate decoding as deterministic representation recovery, which becomes inadequate at low bitrates when high-frequency textures and view-dependent appearance are discarded. Although generative models offer a promising alternative, using them as standalone post-processing decouples generation from the transmitted scene structure, thereby compromising cross-view consistency. To address these limitations, we propose GenSplatCodec, a unified feed-forward Gaussian codec that reformulates low-bitrate Gaussian compression as geometry-guided generative decoding. We present a detail-aware feed-forward Gaussian coding scheme within a dual-stream formulation, where the resulting compact Gaussian structural stream is complemented by a lightweight reference appearance stream. We further introduce a geometry-guided one-step generative decoding approach that jointly exploits decoded structural and appearance cues through hierarchical geometry control to reconstruct high-fidelity and view-consistent novel views. Finally, we develop a three-stage optimization strategy that stabilizes the learning of the unified codec and adapts the generative decoder to codec-derived structural and appearance cues. Extensive experiments across multiple datasets demonstrate that GenSplatCodec consistently achieves superior rate-distortion (RD) performance over existing methods.