NCGR: 노이즈 조건 게이트 정류 - BEV 3D 객체 검출 시 카메라 내재 변동에 대한 접근 방식

NCGR: Noise-Conditional Gated Rectification for Camera Extrinsic Perturbations in BEV 3D Object Detection

카메라 기반 탑-다운(BEV) 3D 객체 검출은 일반적으로 정확하고 고정된 카메라 파라미터를 가정합니다. 공간 크로스 어텐션(SCA)을 사용하는 검출기에서, 카메라 내재 변동은 BEV 기준점의 이미지 평면 투영을 변경시켜 쿼리가 잘못된 영역에서 특징을 샘플링하게 만들고, 결과적으로 검출 성능을 저하시킵니다. 이러한 문제점을 해결하기 위해, 전체 6 자유도(DoF) 카메라 파라미터 보정을 명시적으로 추정하지 않고 투영 오류를 보상하는 노이즈 조건 게이트 정류(NCGR) 방법론을 제안합니다. 각 쿼리-카메라 쌍에 대해 2D 정류 오프셋을 예측하고, 카메라 레벨 게이트를 사용하여 원본 투영을 정류한 후 디포머블 샘플링을 수행합니다. 학습 과정에서, 조건 및 게이트를 구성하는 데 사용되는 변동 관련 값은 점진적으로 스케줄링된 보간을 통해, 카메라 특징으로부터 예측된 보조 스칼라 값을 생성하여 대체됩니다. 이러한 전환을 통해 변동 메타데이터 없이도 추론이 가능합니다. 학습 과정에서, 공유 가중치를 가진 깨끗한 교사(clean-teacher)와 변동된 학생(perturbed-student) 모델 쌍을 사용하며, 정류 모듈은 두 분기 간의 BEV 일관성 목표를 통해 지도됩니다. NCGR은 nuScenes 데이터셋에서 시뮬레이션된 동적 및 정적 카메라 내재 변동 환경에서 평가되었습니다. 5개의 카메라로 구성된 동적 스트레스 테스트에서 NCGR은 39.69%의 NDS (NDS는 평균 IoU와 mAP의 조화평균)를 달성하여, BEVFormer의 28.00% 및 CAPE의 33.23%보다 높은 성능을 보였습니다. 깨끗한 카메라 파라미터 조건에서는 NCGR이 BEVFormer와 유사한 성능을 유지합니다.

Camera-based bird's-eye-view (BEV) 3D detection typically assumes accurate and fixed camera extrinsics. In detectors using spatial cross-attention (SCA), extrinsic perturbations displace the image-plane projections of BEV reference points, causing queries to sample features from incorrect regions and degrading detection performance. To address this failure mode, Noise-Conditional Gated Rectification (NCGR) is proposed to compensate for projection errors without explicitly estimating a full six-degree-of-freedom extrinsic correction. For each query-camera pair, a 2D rectification offset is predicted and modulated by a camera-level gate to rectify the base projection before native deformable sampling. During training, the perturbation-derived quantities used to construct the condition and gate are gradually replaced through scheduled interpolation by counterparts generated from an auxiliary scalar predicted from camera features. This transition enables blind inference without perturbation metadata. During training, a weight-shared clean-teacher/perturbed-student pair is used, and the rectification module is supervised by a BEV-consistency objective between the two branches. NCGR is evaluated on nuScenes with simulated dynamic and static extrinsic perturbations. In a five-camera dynamic stress test, NCGR achieves 39.69% NDS, compared with 28.00% for BEVFormer and 33.23% for CAPE. Under clean extrinsics, NCGR maintains performance comparable to that of BEVFormer.