DVPSFormer: 자율 주행을 위한 효율적인 온라인 심층 정보를 활용한 비디오 파노프틱 분할

DVPSFormer: Efficient Online Depth-aware Video Panoptic Segmentation for Autonomous Driving

안전한 자율 주행은 동적인 환경에 대한 통합적인 이해를 필요로 하며, 이를 위해 거리 정보 추정, 의미론적 분할 및 객체 트래커킹을 동시에 수행해야 합니다. 심층 정보를 활용한 비디오 파노프틱 분할 (DVPS)은 이러한 작업을 통합하지만, 기존 방법들은 종종 계산 비용이 많이 드는 다단계 파이프라인이나 오프라인 트래커킹에 의존하여 실시간 의사 결정에 적합하지 않습니다. 이를 해결하기 위해 우리는 효율적인 4차원 장면 이해를 위한 통합 온라인 아키텍처인 DVPSFormer를 제안합니다. 우리의 접근 방식의 핵심은 새로운 메커니즘인 명시적 장면 이산화 (ESD)입니다. 이는 분할 쿼리를 활용하여 전경 및 배경 영역을 표현하고, 이를 통해 단일 패스에서 거리 정보를 디코딩하는 이산-연속 (D2C) 깊이 헤드를 사용합니다. 이를 통해 의미론적 학습과 기하학적 학습을 긴밀하게 결합하면서 지연 시간을 크게 줄입니다. 또한, 우리는 시간적 일관성을 활용하여 객체 트래커킹 과정에서 분류를 개선하는 온라인 다수 투표 (OMV) 메커니즘을 제안합니다. DVPSFormer는 Cityscapes-DVPS 및 SemKITTI-DVPS 벤치마크에서 새로운 최고 성능을 달성하며, 온라인 로봇 인식을 위한 간소화된 솔루션을 제공합니다. 코드 및 모델은 https://royyang0714.github.io/DVPSFormer 에서 확인할 수 있습니다.

Safe autonomous navigation requires a holistic understanding of dynamic environments, necessitating the simultaneous estimation of metric depth, semantic segmentation, and instance trajectories. While depth-aware video panoptic segmentation (DVPS) unifies these tasks, existing approaches often rely on computationally expensive, multi-stage pipelines or offline tracking, rendering them unsuitable for real-time decision-making. To address this, we propose DVPSFormer, a unified online architecture designed for efficient 4D scene understanding. Central to our approach is explicit scene discretization (ESD), a novel mechanism that leverages segmentation queries to represent foreground and background regions, enabling a discrete-to-continuous (D2C) depth head to decode metric depth in a single pass. This tightly couples semantic and geometric learning while significantly reducing latency. Furthermore, we propose an online majority voting (OMV) mechanism that exploits temporal consistency to refine classification during instance tracking. DVPSFormer establishes a new state-of-the-art on the Cityscapes-DVPS and SemKITTI-DVPS benchmarks, offering a streamlined solution for online robotic perception. Code and models are available at https://royyang0714.github.io/DVPSFormer.