RAFNet: 지역 정보를 고려한 융합 네트워크를 이용한 팬샤르페닝

RAFNet: Region-Aware Fusion Network for Pansharpening

팬샤르페닝은 저해상도 다중 분광 이미지(LRMS)와 고해상도 흑백 이미지(PAN)를 융합하여 고해상도 다중 분광 이미지(HRMS)를 생성하는 기술입니다. 딥러닝은 이 분야의 발전에 기여했지만, 기존의 주류 방식인 주파수 기반 방법은 표준 스케일드 도트-프로덕트 어텐션을 사용하며, 이는 2차원 계산 복잡도를 가지며 원격 감지 이미지의 고유한 지역적 희소성을 활용하지 못합니다. 또한, 기존의 공간적 향상 전략은 일반적으로 정적인 컨볼루션 커널을 사용하며, 이는 PAN 및 MS 이미지의 복잡한 주파수 및 지역적 변화에 적응하는 데 어려움을 겪습니다. 이러한 문제점을 해결하기 위해, 우리는 공간 및 주파수 정보를 효과적으로 모델링하는 지역 정보를 고려한 융합(RAFNet) 네트워크를 제안합니다. 구체적으로, 우리는 방향별 주파수 분리 및 K-평균 클러스터링을 활용하여 동적으로 지역별 적응형 컨볼루션 커널을 구성하는 공간적 적응형 정제(SAR) 모듈을 설계하여 공간적 및 주파수적 적응형 특징 향상을 달성합니다. 또한, 우리는 의미 기반 클러스터에 의해 안내되는 희소 어텐션 메커니즘을 기반으로 클러스터링된 주파수 집계(CFA) 모듈을 도입하여, 지역 정보를 고려한 희소 어텐션 전략을 실행함으로써 계산 중복을 크게 줄이면서 고품질의 주파수 특징 추출을 보장합니다. 또한, 우리는 이러한 모듈들을 점진적이고 다단계적인 공간-주파수 네트워크 아키텍처에 통합하여 강력한 상호 작용과 정확한 이미지 복원을 가능하게 했습니다. 여러 표준 데이터 세트에 대한 광범위한 실험 결과, 제안하는 RAFNet은 저해상도 및 고해상도 평가 모두에서 최첨단 팬샤르페닝 방법보다 훨씬 우수한 성능을 보이는 것을 확인했습니다. 코드는 다음 주소에서 이용 가능합니다: https://github.com/PatrickNod/RAFNet.

Pansharpening aims to generate high-resolution multispectral (HRMS) images by fusing low-resolution multispectral (LRMS) and high-resolution panchromatic (PAN) images. Although deep learning has advanced this field, mainstream frequency-based methods relying on standard scaled dot-product attention suffer from quadratic computational complexity and fail to exploit the inherent regional sparsity of remote sensing imagery. Furthermore, existing spatial enhancement strategies typically employ static convolution kernels, which struggle to adapt to the complex frequency and regional variations of PAN and MS images. To address these bottlenecks, we propose a Region-Aware Fusion (RAFNet) Network that synergistically models spatial and frequency information. Specifically, we design a Spatial Adaptive Refinement (SAR) module that leverages the discrete wavelet transform (DWT) for directional frequency separation and K-means clustering for regional partitioning, which enables the dynamic construction of region-specific adaptive convolution kernels, achieving spatially and frequency-adaptive feature enhancement. Moreover, we introduce a Clustered Frequency Aggregation (CFA) module based on a sparse attention mechanism guided by the semantic clusters, which executes a region-aware sparse attention strategy that drastically reduces computational redundancy while ensuring high-quality frequency feature extraction. In addition we integrated these modules into a progressive, multi-level spatial-frequency network architecture to facilitate robust interaction and accurate image reconstruction. Extensive experiments on multiple benchmark datasets demonstrate that the proposed RAFNet significantly outperforms state-of-the-art pansharpening methods in both reduced- and full-resolution assessments. The code is available at https://github.com/PatrickNod/RAFNet.