CaT-GS: 인터프레임 캐싱 및 타일 스케줄링을 통한 대규모 장면의 효율적인 3D 가우시안 스플래팅 렌더링

CaT-GS: Efficient 3DGS Rendering for Large Scale Scenes via Inter-frame Caching and Tile Scheduling

최근 3차원 가우시안 스플래팅(3DGS) 분야에서 이뤄진 발전은 높은 충실도와 속도를 가진 신경망 렌더링을 가능하게 했습니다. 그러나 타일 기반 라스터화의 계산 부담으로 인해 대규모 장면에서는 성능이 크게 저하됩니다. 기존 최적화 노력들은 대부분 비용이 많이 드는 장면 재학습을 요구하거나 파이프라인의 특정 측면에만 초점을 맞춰, 실제 배포 시 발생하는 중요한 비효율성을 간과합니다. 우리는 종합적인 분석을 통해 중복 계산 및 낮은 GPU 활용률의 세 가지 주요 원인을 파악했습니다: 연속 프레임 간의 불필요한 전처리, 뷰포인트 기반의 오클루전 중복, 그리고 심각한 타일 수준의 로드 불균형입니다. 이러한 문제점을 해결하기 위해, 우리는 새로운 효율적인 3DGS 렌더링 파이프라인인 CaT-GS를 제안합니다. CaT-GS는 연속 프레임을 처리할 때 발생하는 불필요한 계산을 제거하는 예측 기반 멀티 프레임 전처리 방법을 도입하고, 뷰포인트 중복 렌더링 단계를 제거하기 위한 인터프레임 캐싱 메커니즘을 사용합니다. 또한, 라스터화 작업을 전용 커널로 재구성하여 타일 로드 불균형 문제를 완화하고 GPU 활용률을 크게 향상시킵니다. 광범위한 실험 결과는 CaT-GS가 기존 3DGS보다 최대 10배 빠르고, 이전 최고 성능 방법보다 최대 70% 더 빠른 속도를 제공하며, 이를 통해 대규모 장면의 고품질 실시간 렌더링에 대한 새로운 기준을 제시한다는 것을 보여줍니다.

Recent breakthroughs in 3D Gaussian Splatting (3DGS) have advanced neural rendering with high fidelity and speed. However, its performance degrades significantly in large-scale scenes due to the computational burden of tile-based rasterization. Existing optimization efforts either require costly scene re-training or focus on narrow aspects of the pipeline, overlooking critical inefficiencies in real-world deployments. Through a comprehensive analysis, we identify three primary sources of redundancy and low GPU utilization: redundant inter-frame pre-processing, viewpoint-based occlusion redundancy, and severe tile-level load imbalance. To address these issues, we propose CaT-GS, a novel and efficient 3DGS rendering pipeline. CaT-GS introduces a speculative multi-frame preprocessing method to eliminate redundant computations across consecutive frames, and an inter-frame caching mechanism to eliminate viewpoint redundant rendering stages. Furthermore, it refactors rasterization tasks with a dedicated kernel to mitigate tile load imbalance, significantly boosting GPU utilization. Extensive experiments demonstrate that CaT-GS achieves a speedup of up to 10 times over the original 3DGS and up to 70% over previous state-of-the-art methods, establishing a new benchmark for high-fidelity, real-time rendering of large-scale scenes.