AW-MoE: 악천후 환경에서도 견고한 다중 모드 3차원 객체 탐지를 위한 모든 환경 혼합 전문가 모델

AW-MoE: All-Weather Mixture of Experts for Robust Multi-Modal 3D Object Detection

악천후 조건에서도 안정적인 3차원 객체 탐지는 자율 주행에 매우 중요합니다. 그러나 대부분의 기존 방법은 훈련 시 모든 날씨 데이터를 단순히 결합하며, 다양한 날씨 시나리오 간의 데이터 분포 차이를 간과하여 성능 저하를 초래합니다. 이러한 문제를 해결하기 위해, 우리는 날씨 변화에 강인한 다중 모드 3차원 객체 탐지 기술에 Mixture of Experts (MoE)를 혁신적으로 통합한 AW-MoE 프레임워크를 제안합니다. AW-MoE는 이미지 기반의 날씨 인지 라우팅(Image-guided Weather-aware Routing, IWR)을 통합하여, 다양한 날씨 조건에서 이미지 특징의 뛰어난 구별력과 장면 변화에 대한 불변성을 활용하여 정확한 날씨 분류를 수행합니다. 이 정확한 분류를 바탕으로, IWR은 데이터 불일치를 처리하는 상위 K개의 관련 날씨 특화 전문가(Weather-Specific Experts, WSE)를 선택하여 모든 날씨 조건에서 최적의 탐지 성능을 보장합니다. 또한, 우리는 LiDAR와 4D 레이더의 동기화된 다중 모드 데이터 증강을 위해 장면의 현실감을 유지하는 Unified Dual-Modal Augmentation (UDMA)를 제안합니다. 실제 데이터셋에 대한 광범위한 실험 결과, AW-MoE는 최첨단 방법보다 악천후 성능이 약 15% 향상되는 것을 보여주었으며, 추론 오버헤드는 미미합니다. 또한, AW-MoE를 기존의 기본 탐지기에 통합하면 현재 최첨단 방법보다 더 뛰어난 성능 향상을 얻을 수 있습니다. 이러한 결과는 AW-MoE의 효과성과 확장성을 입증합니다. AW-MoE 코드는 https://github.com/windlinsherlock/AW-MoE 에서 공개될 예정입니다.

Robust 3D object detection under adverse weather conditions is crucial for autonomous driving. However, most existing methods simply combine all weather samples for training while overlooking data distribution discrepancies across different weather scenarios, leading to performance conflicts. To address this issue, we introduce AW-MoE, the framework that innovatively integrates Mixture of Experts (MoE) into weather-robust multi-modal 3D object detection approaches. AW-MoE incorporates Image-guided Weather-aware Routing (IWR), which leverages the superior discriminability of image features across weather conditions and their invariance to scene variations for precise weather classification. Based on this accurate classification, IWR selects the top-K most relevant Weather-Specific Experts (WSE) that handle data discrepancies, ensuring optimal detection under all weather conditions. Additionally, we propose a Unified Dual-Modal Augmentation (UDMA) for synchronous LiDAR and 4D Radar dual-modal data augmentation while preserving the realism of scenes. Extensive experiments on the real-world dataset demonstrate that AW-MoE achieves ~ 15% improvement in adverse-weather performance over state-of-the-art methods, while incurring negligible inference overhead. Moreover, integrating AW-MoE into established baseline detectors yields performance improvements surpassing current state-of-the-art methods. These results show the effectiveness and strong scalability of our AW-MoE. We will release the code publicly at https://github.com/windlinsherlock/AW-MoE.