사족 로봇을 위한 파노라마 다중 모드 의미 기반 점유 예측

Panoramic Multimodal Semantic Occupancy Prediction for Quadruped Robots

파노라마 이미지는 사족 로봇의 환경 인식을 위해 360° 시야를 제공합니다. 그러나 기존의 점유 예측 방법은 주로 자율 주행 차량에 맞춰 설계되었으며, RGB 정보에 크게 의존하여 복잡하고 동적으로 변화하는 환경에서의 견고성이 제한됩니다. 이러한 격차를 해소하기 위해, 우리는 사족 로봇을 위한 최초의 실제 파노라마 다중 모드 점유 데이터셋인 PanoMMOcc을 소개합니다. 이 데이터셋은 다양한 장면에서 수집된 네 가지 센서 데이터를 포함하고 있습니다. 또한, 우리는 다족 보행 및 구형 이미징에 특화된 파노라마 다중 모드 점유 인식 프레임워크인 VoxelHound을 제안합니다. VoxelHound은 보행 중 발생하는 로봇의 자세 변화로 인한 심각한 시야 변동을 완화하기 위한 Vertical Jitter Compensation (VJC) 모듈과, 향상된 볼륨 기반 점유 예측을 위해 파노라마 시각 정보를 보조 데이터와 효과적으로 통합하는 Multimodal Information Prompt Fusion (MIPF) 모듈을 포함합니다. 또한, 우리는 PanoMMOcc 데이터셋에 대한 포괄적인 벤치마크를 구축하고, 어려운 로봇 인식 시나리오에서의 체계적인 평가를 위한 상세한 데이터 분석을 제공합니다. 광범위한 실험 결과는 VoxelHound이 PanoMMOcc 데이터셋에서 최첨단 성능을 달성했으며, mIoU가 +4.16만큼 향상되었음을 보여줍니다. 데이터셋과 코드는 https://github.com/SXDR/PanoMMOcc 에서 공개되어, 로봇 시스템의 파노라마 다중 모드 3D 인식 분야의 미래 연구를 지원할 것입니다.

Panoramic imagery provides holistic 360° visual coverage for environmental perception in quadruped robots. However, existing occupancy prediction methods are primarily designed for wheeled autonomous driving and rely heavily on RGB cues, which limits their robustness in complex, dynamically changing environments. To bridge this gap, we introduce PanoMMOcc, the first real-world panoramic multimodal occupancy dataset for quadruped robots, comprising four sensing modalities collected across diverse scenes. We further propose VoxelHound, a panoramic multimodal occupancy perception framework tailored to legged locomotion and spherical imaging. VoxelHound incorporates a Vertical Jitter Compensation (VJC) module to mitigate severe viewpoint perturbations caused by body pitch and roll during locomotion, enabling more consistent spatial reasoning, and a Multimodal Information Prompt Fusion (MIPF) module to effectively integrate panoramic visual cues with auxiliary modalities for enhanced volumetric occupancy prediction. We also establish a comprehensive benchmark on PanoMMOcc and provide detailed dataset analyses to enable systematic evaluation in challenging embodied perception scenarios. Extensive experiments demonstrate that VoxelHound achieves state-of-the-art performance on PanoMMOcc, with a +4.16 gain in mIoU. The dataset and code will be publicly released to facilitate future research on panoramic multimodal 3D perception for embodied robotic systems at https://github.com/SXDR/PanoMMOcc.