RegisterBridgeMM: RGB-적외선 객체 탐지를 위한 레지스터 중심 프레임워크

RegisterBridgeMM: A Register-Centric Framework for RGB-Infrared Object Detection

RGB-적외선(RGB-IR) 객체 탐지는 가시광 및 열화상 데이터의 상호 보완적인 정보를 활용하여 성능 향상을 기대할 수 있지만, 조명 변화, 날씨 변동, 복잡한 장면 등에서 효과적인 융합은 여전히 어려운 과제입니다. 기존 RGB-IR 융합 방법들은 종종 표현력을 높이기 위한 패치 간의 상호 작용을 희생하고, 가볍지만 제약적인 적응 메커니즘을 사용합니다. 본 연구에서는 사전 학습된 레지스터 토큰이 쌍으로 연결된 RGB-IR 입력에서 모달리티 공유 정보와 모달리티 특정 정보를 모두 포함하며, 따라서 다양한 모달리티 간의 통신을 위한 효율적인 기반이 될 수 있다는 것을 경험적으로 확인했습니다. 이러한 관찰을 바탕으로, 본 연구에서는 세 단계로 구성된 레지스터 라이프사이클 방식으로 조직화된 레지스터 매개 융합 프레임워크인 RegisterBridgeMM을 제안합니다. Aggregate는 사전 학습에서 파생된 각 모달리티의 레지스터 요약을 유지하고, Bridge는 컨센서스-잔차 조절 기능을 갖춘 양방향 레지스터-패치 읽기를 수행하며, Project는 결과적으로 생성된 레지스터 요약을 사용하여 패치 특징의 공간적 적응 캘리브레이션을 수행합니다. 이러한 레지스터 경로는 밀집된 패치 간의 교차 모달리티 상호 작용을 피하면서 사전 학습된 패치 표현을 유지합니다. RegisterBridgeMM은 평가된 방법 중 가장 높은 mAP50-95 값을 달성했으며, 이는 LLVIP, M3FD, DroneVehicle 및 FLIR-Aligned의 네 가지 벤치마크에서 모두 나타났습니다.

RGB-infrared (RGB-IR) object detection benefits from complementary visible and thermal cues, but effective fusion remains challenging under illumination changes, weather variation, and cluttered scenes. Existing RGB-IR fusion methods often trade expressive patch-level interaction for lighter but more constrained adaptation mechanisms. We empirically observe that pretrained register tokens contain both modality-shared and modality-specific information on paired RGB-IR inputs, suggesting that they can serve as a compact substrate for cross-modal communication. Building on this observation, we propose RegisterBridgeMM, a register-mediated fusion framework organized as a three-stage register lifecycle. Aggregate preserves per-modality register summarization inherited from pretraining; Bridge performs bidirectional register-to-patch reading with consensus-residual regulation; and Project translates the resulting register summary into spatially adaptive calibration of patch features. This register pathway avoids dense patch-to-patch cross-modal interaction while preserving the pretrained patch representation. With both backbone streams frozen, RegisterBridgeMM achieves the highest mAP50-95 among the evaluated methods on all four benchmarks: LLVIP, M3FD, DroneVehicle, and FLIR-Aligned.