4차원 패노라마틱 점유 공간 추적을 위한 잠재 가우시안 분산

Latent Gaussian Splatting for 4D Panoptic Occupancy Tracking

동적 환경에서 로봇의 안전하고 신뢰성 있는 작동을 위해서는 4차원 시공간 환경을 정확하게 파악하는 것이 중요합니다. 그러나 대부분의 기존 방법은 이 문제의 한 측면만을 다룹니다. 즉, 경계 상자 기반의 거친 기하학적 추적을 제공하거나, 3차원 보クセル 기반 점유 공간과 같이 상세한 3차원 구조를 제공하지만, 명시적인 시간적 연관성을 고려하지 못합니다. 본 연구에서는 시공간 장면 이해를 포괄적으로 발전시키는 4차원 패노라마틱 점유 공간 추적을 위한 잠재 가우시안 분산(LaGS) 방법을 제안합니다. 저희의 접근 방식은 카메라 기반의 엔드투엔드 추적과 마스크 기반의 다중 뷰 패노라마틱 점유 공간 예측을 결합하며, 혁신적인 잠재 가우시안 분산 방식을 통해 다중 뷰 정보를 3차원 보クセル 그리드로 효율적으로 통합하는 핵심적인 과제를 해결합니다. 구체적으로, 먼저 관측 데이터를 3차원 가우시안으로 융합하여 3차원 장면의 희소한 점 기반 잠재 표현을 구성하고, 이를 통해 집계된 특징을 3차원 보クセル 그리드에 분산시킵니다. 이 분산된 특징은 마스크 기반의 분할 네트워크에 의해 디코딩됩니다. 저희는 LaGS를 Occ3D, nuScenes 및 Waymo 데이터셋에서 평가하여 4차원 패노라마틱 점유 공간 추적 분야에서 최고 수준의 성능을 달성했습니다. 저희의 코드는 다음 링크에서 확인할 수 있습니다: https://lags.cs.uni-freiburg.de/.

Capturing 4D spatiotemporal surroundings is crucial for the safe and reliable operation of robots in dynamic environments. However, most existing methods address only one side of the problem: they either provide coarse geometric tracking via bounding boxes, or detailed 3D structures like voxel-based occupancy that lack explicit temporal association. In this work, we present Latent Gaussian Splatting for 4D Panoptic Occupancy Tracking (LaGS) that advances spatiotemporal scene understanding in a holistic direction. Our approach incorporates camera-based end-to-end tracking with mask-based multi-view panoptic occupancy prediction, and addresses the key challenge of efficiently aggregating multi-view information into 3D voxel grids via a novel latent Gaussian splatting approach. Specifically, we first fuse observations into 3D Gaussians that serve as a sparse point-centric latent representation of the 3D scene, and then splat the aggregated features onto a 3D voxel grid that is decoded by a mask-based segmentation head. We evaluate LaGS on the Occ3D nuScenes and Waymo datasets, achieving state-of-the-art performance for 4D panoptic occupancy tracking. We make our code available at https://lags.cs.uni-freiburg.de/.