CGFformer: 클러스터 기반 가이드 주파수 변환기를 이용한 팬샤르페닝

CGFformer: Cluster-Guidance Frequency Transformer for Pansharpening

팬샤르페닝은 저해상도 다중 분광 이미지(LRMS)와 고해상도 흑백 이미지(PAN)를 융합하여 고해상도 다중 분광 이미지(HRMS)를 생성하는 것을 목표로 합니다. 그러나 현재 주류의 주파수 기반 팬샤르페닝 방법은 고정된 주파수 필터를 사용하며, 이는 PAN 및 MS 이미지에서 복잡하고 공간적으로 다양한 주파수 분포에 정확하게 적응할 수 없습니다. 또한, 기존의 노이즈 제거 전략은 주파수 구성 요소를 충분히 활용하지 못하고 다양한 유형의 노이즈를 정확하게 억제하는 데 어려움을 겪습니다. 이러한 문제점을 해결하기 위해, 우리는 주파수 분포의 다양성과 주파수 및 공간 구성 요소 간의 상호 작용에 초점을 맞춘 클러스터 기반 가이드 주파수 변환기인 CGFformer를 제안합니다. 구체적으로, 우리는 K-means 클러스터링을 통해 로컬 특징과 비로컬 정보를 통합하는 적응형 분리 모듈을 설계하여 고주파 및 저주파 구성 요소의 더욱 정확한 분리를 가능하게 합니다. 그 후, 트랜스포머 기반 크로스 어텐션을 결합한 이중 스트림 정제 모듈을 도입하여 다양한 노이즈를 제거하고, 네트워크가 주파수 관련 및 비관련 노이즈를 동시에 억제할 수 있도록 합니다. 또한, 융합 결과의 공간 구조를 보다 효과적으로 재구성하기 위해, 세부 정보를 향상시키고 공간-주파수 상호 작용을 촉진하도록 설계된 주파수-공간 융합 모듈을 개발했습니다. 여러 벤치마크 데이터 세트에 대한 광범위한 실험 결과, 제안된 CGFformer는 기존의 팬샤르페닝 방법보다 상당한 성능 향상을 달성하는 것으로 나타났습니다.

Pansharpening aims to generate high-resolution multispectral (HRMS) images by fusing low-resolution multispectral (LRMS) images with high-resolution panchromatic (PAN) images. However, the current mainstream frequency-based pansharpening methods employ fixed frequency filters, which cannot precisely adapt to complex and spatially diversified frequency distributions in PAN and MS images. Furthermore, existing denoising strategies insufficiently exploit frequency components for denoising and struggle to suppress various noise types accurately. To address these challenges, we propose CGFformer, a cluster-guidance frequency Transformer that focuses on varying frequency distribution and interactions between frequency and spatial components. Specifically, we design an adaptive separation module that integrates local features and non-local information through K-means clustering, enabling more precise separation of high- and low-frequency components. Subsequently, we introduce a dual-stream refinement module combined with Transformer-based cross-attention to remove various noise, allowing the network to jointly suppress frequency-relevant and irrelevant disturbances. In addition, we develop a frequency-spatial fusion module designed to enhance detail and facilitate spatial-frequency interaction, ensuring more effective reconstruction of spatial structures in the fused results. Extensive experiments on multiple benchmark datasets demonstrate that the proposed CGFformer achieves notable improvements over existing pansharpening approaches.