DRPFNet: RGB와 열화상 객체 탐지를 위한 이중 영역 잔차 점진적 융합 네트워크

DRPFNet: Dual-domain Residual Progressive Fusion Network for RGB-Thermal Object Detection

RGB-열화상(RGB-T) 객체 탐지는 가시광선 및 열화상 모달로부터 보완적인 정보를 융합하여 다양한 조명 및 기상 조건 하에서 강력한 탐지를 달성하는 것을 목표로 합니다. 현재의 방법들은 일반적으로 어텐션 메커니즘 또는 트랜스포머를 사용하여 각 특징 스케일에서 독립적으로 교차 모달 융합을 수행하고, RGB와 열화상 특징을 공간 영역에서 직접 결합합니다. 그러나 이러한 방법은 여전히 다음과 같은 중요한 한계점을 가지고 있습니다: 각 스케일에서의 독립적인 융합으로 인한 레벨 간 지식 상속 문제, 양방향 최적화 부족으로 인한 지속적인 노이즈 억제 문제, 그리고 주파수-공간 협업의 부재로 인한 정보 손실 문제입니다. 이러한 문제점을 해결하기 위해, 우리는 구조, 특징, 향상이라는 세 가지 시너지 레벨에서 통합된 정보 흐름 최적화 시스템을 구축하는 이중 영역 잔차 점진적 융합 네트워크인 DRPFNet을 제안합니다. 구조 레벨에서는 하위-상위 지식 축적 및 양방향 향상을 통해 교차 스케일 전파를 확립하여 원활한 정보 흐름을 보장합니다. 특징 레벨에서는 주파수 대역 분리 및 엣지 가이드를 통해 RGB의 고주파 에지와 열화상의 저주파 구조를 협력적으로 추출하여 표현 품질을 보장합니다. 향상 레벨에서는 엣지 가이드된 이중 영역 정제를 통해 전경-배경 구분을 강화하여 정확한 객체 위치화를 달성합니다. 두 개의 공개 RGB-T 데이터셋에 대한 광범위한 실험 결과는 우리의 방법이 경쟁력 있는 효율성을 갖춘 동시에 우수한 성능을 보여주며, 이는 계층적 협업 전략의 효과를 입증합니다.

RGB-thermal (RGB-T) object detection aims to fuse complementary information from visible and thermal modalities to achieve robust detection under varying illumination and weather conditions. Current methods typically employ attention mechanisms or transformers to perform cross-modal fusion independently at each feature scale, directly combining RGB and thermal features in the spatial domain. However, they still face significant limitations: cross-level knowledge inheritance caused by independent fusion at each scale,suppressing noise continuously due to the lack of bidirectional optimization, and information degradation induced by the absence of frequency-spatial collaboration. To address these issues, we propose DRPFNet, a Dual-domain Residual Progressive Fusion Network that constructs a unified information flow optimization system from three synergistic levels:structure, feature, and enhancement. At the structural level, we establish cross-scale propagation through bottom-up knowledge accumulation and bidirectional enhancement,ensuring smooth information flow. At the feature level, we collaboratively extract RGB high-frequency edges and thermal low-frequency structures via frequency band separation and edge guidance, guaranteeing representation quality. At the enhancement level, we enhance foreground-background discrimination through edge-guided dual-domain refinement,achieving precise object localization.Extensive experiments on two public RGB-T datasets demonstrate that our method achieves competitive performance with competitive efficiency, validating the effectiveness of this hierarchical collaborative strategy.