ATT-CR: 적응형 삼각 트랜스포머를 이용한 구름 제거

ATT-CR: Adaptive Triangular Transformer for Cloud Removal

구름 제거는 원격 감지 이미지에서 구름에 가려진 지상 객체를 정확하게 복원하는 것을 목표로 합니다. 기존의 자기 주의(self-attention) 메커니즘을 사용하는 트랜스포머 기반 방법들은 구름 이미지를 효과적으로 모델링하여 뛰어난 결과를 보여주었지만, 다음과 같은 문제점을 가지고 있습니다: 1) 자기 주의 연산의 높은 계산 복잡도는 확장성을 제한합니다. 2) 주의 연산에서 구름 영역과 깨끗한 영역의 픽셀을 모두 동일하게 취급하면 후속 레이어에 노이즈가 발생하여 최적의 성능을 달성하기 어렵습니다. 이러한 문제점을 해결하기 위해, 본 논문에서는 계산 비용을 효과적으로 줄이고 구름 영역 픽셀로부터 발생하는 간섭을 완화하는 적응형 삼각 트랜스포머(ATT-CR) 모델을 제안합니다. ATT-CR은 크게 두 가지 핵심 구성 요소인 삼각 주의(Triangular Attention, TAN)와 특징 선택 게이팅 모듈(Feature Selected Gating Module, FSGM)로 구성됩니다. TAN은 상/하 삼각 행렬을 사용하여 소프트맥스 주의를 근사하여 O(N)의 계산 복잡도를 가지며, 이를 통해 계산 비용을 크게 줄입니다. 또한, FSGM은 TAN과 함께 작동하여 구름 영역과 깨끗한 영역의 특징을 적응적으로 구분함으로써 후속 레이어에 유효하지 않은 정보가 입력되는 것을 최소화합니다. 다양한 구름 제거 벤치마크를 통한 실험 결과는 ATT-CR이 기존 방법들보다 우수한 성능을 제공한다는 것을 보여줍니다.

Cloud removal aims to accurately reconstruct the ground objects obscured by clouds in remote sensing images. Existing Transformer-based methods utilizing self-attention have shown impressive results by effectively modeling long-range dependencies in cloudy images. However, they suffer from the following issues: 1) the high computational complexity of self-attention limits scalability; 2) treating both cloudy and clean pixels as valid within the attention computation brings disturbances in subsequent layers, leading to suboptimal performance. To address these challenges, we propose the Adaptive Triangular Transformer for Cloud Removal (ATT-CR), a model that effectively reduces computational costs and mitigates interference from cloudy pixels. Specifically, it consists of two core components: Triangular Attention (TAN) and Feature Selected Gating Module (FSGM). TAN employs lower and upper triangular matrices to approximate Softmax attention with O(N) computational complexity, significantly reducing the computational costs. The FSGM, on the other hand, integrates with TAN to adaptively distinguish between cloudy and clean features, which minimizes the introduction of invalid information into subsequent layers. Extensive experiments on cloud removal benchmarks demonstrate that ATT-CR delivers superior performance compared to existing methods.