열 복사 모델링을 통한 지식 기반 적대적 학습: 적외선 객체 탐지를 위한 방법

Knowledge-Guided Adversarial Training for Infrared Object Detection via Thermal Radiation Modeling

복잡한 환경에서 적외선 객체 탐지는 다양한 시나리오에서 광범위한 적용 가능성과 안정성을 제공합니다. 그러나 적외선 객체 탐지는 일반적인 노이즈와 적대적 공격 모두에 취약하여 잠재적인 보안 위험을 초래할 수 있습니다. 적외선 객체 탐지의 견고성을 향상시키기 위해 현재 대부분의 방법은 데이터 중심적인 접근 방식을 채택하며, 이는 훈련 데이터에 대한 네트워크의 적응을 유도하지만, 적외선 이미지의 고유한 특성을 명시적으로 고려하지 않아 제한적인 견고성을 나타냅니다. 본 연구에서는 적외선 물리적 지식을 재검토하고, 다양한 클래스 간의 상대적인 열 복사 관계가 적대적 공격 및 일반적인 노이즈의 복잡한 시나리오에서 신뢰할 수 있는 지식 원천으로 간주될 수 있음을 확인했습니다. 따라서 본 연구에서는 다양한 클래스의 Gray 값 순서를 기반으로 열 복사 관계를 이론적으로 모델링하고, 다양한 클래스 간 열 복사 관계의 안정성을 정량화합니다. 위 이론적 프레임워크를 바탕으로, 적외선 물리적 지식을 적대적 학습 과정에 통합하고, 예측 결과를 실제 물리 법칙과 일치하도록 최적화하는 지식 기반 적대적 학습(KGAT) 방법을 제안합니다. 세 개의 적외선 데이터 세트와 여섯 가지 주류 적외선 객체 탐지 모델을 사용하여 수행한 광범위한 실험 결과, KGAT는 깨끗한 데이터에 대한 정확도와 적대적 공격 및 일반적인 노이즈에 대한 견고성을 효과적으로 향상시키는 것을 보여주었습니다.

In complex environments, infrared object detection exhibits broad applicability and stability across diverse scenarios. However, infrared object detection is vulnerable to both common corruptions and adversarial examples, leading to potential security risks. To improve the robustness of infrared object detection, current methods mostly adopt a data-driven ideology, which only superficially drives the network to fit the training data without specifically considering the unique characteristics of infrared images, resulting in limited robustness. In this paper, we revisit infrared physical knowledge and find that relative thermal radiation relations between different classes can be regarded as a reliable knowledge source under the complex scenarios of adversarial examples and common corruptions. Thus, we theoretically model thermal radiation relations based on the rank order of gray values for different classes, and further quantify the stability of various inter-class thermal radiation relations. Based on the above theoretical framework, we propose Knowledge-Guided Adversarial Training (KGAT) for infrared object detection, in which infrared physical knowledge is embedded into the adversarial training process, and the predicted results are optimized to be consistent with the actual physical laws. Extensive experiments on three infrared datasets and six mainstream infrared object detection models demonstrate that KGAT effectively enhances both clean accuracy and robustness against adversarial attacks and common corruptions.