HyperDet: 하이퍼 4차원 레이더 포인트 클라우드를 이용한 3차원 객체 탐지

HyperDet: 3D Object Detection with Hyper 4D Radar Point Clouds

단독으로 4차원 레이더를 사용하여 3차원 객체 탐지는 어디까지 발전할 수 있을까요? 자율 주행 시스템에 날씨 변화에 강하고 속도 정보를 제공하는 현대적인 4차원 레이더는 여전히 희소하고, 노이즈가 많으며 불안정한 포인트 클라우드를 생성하여 레이더만으로 수행되는 3차원 객체 탐지에 제한을 둡니다. 본 논문에서는 HyperDet라는, 특정 검출기(detector)에 의존하지 않는 프레임워크를 제안합니다. HyperDet는 객체 탐지 전에 작업(task)-인식 하이퍼 4차원 레이더 포인트 클라우드를 생성합니다. 먼저 HyperDet는 짧은 시간 간격 동안의 전방향 시야 레이더 데이터를 공간-시간 누적, 센서 간 검증 및 도플러 기반 운동 보정 등을 통해 정제하여 반사 신호의 신뢰성과 시간적 일관성을 향상시킵니다. 그 후에는 훈련 과정에서만 사용 가능한 LiDAR 기반의 가짜(pseudo) 레이더 지도 학습을 사용하여 객체의 형상을 풍부하게 만들면서 측정된 레이더 배경과 레이더 고유의 속성들을 유지합니다. 검출기 훈련 시, 레이더 정보를 고려한 객체 수준의 증강 기법은 기하학적 위치 이동 하에서도 도플러 일관성을 더욱 강화합니다. 추론 단계에서 HyperDet는 레이더 입력만 필요하며, 기존의 표준 3차원 검출기와 직접 연결하여 사용할 수 있습니다. 두 가지 공개된 전방향 시야 4차원 레이더 데이터셋에 대한 실험 결과는 표준 3차원 검출기를 사용하는 경우에도 원시(raw) 레이더 입력에 비해 일관성 있는 성능 향상을 보여주며, 입력 레벨에서의 레이더 강화가 레이더만으로 수행되는 3차원 객체 탐지를 위한 효과적인 방법임을 입증합니다.

How far can 3D object detection go using 4D radar alone? Despite offering weather-robust and velocity-aware sensing for autonomous perception, modern 4D radar still yields sparse, noisy, and unstable point clouds, limiting radar-only 3D detection. We present HyperDet, a detector-agnostic frame- work that constructs task-aware hyper 4D radar point clouds before detection. HyperDet first refines short-window surround-view radar observations through spatio-temporal accumulation, cross-sensor validation, and Doppler-guided mo- tion compensation, improving return reliability and temporal coherence. It then performs foreground generative enhancement using LiDAR-guided pseudo-radar supervision available only during training, enriching object geometry while pre- serving measured radar background and radar-native attributes. During detector training, radar-aware object-level augmentation further preserves Doppler consis- tency under geometric relocation. At inference time, HyperDet requires radar input alone and can be directly paired with standard 3D detectors. Experiments on two public surround-view 4D radar datasets demonstrate consistent improve- ments over raw radar inputs across standard 3D detectors, validating input-level radar enhancement as an effective approach to radar-only 3D detection.