PA-Net: 강수량 적응형 전문가 혼합 모델을 이용한 장기 강수 예측

PA-Net: Precipitation-Adaptive Mixture-of-Experts for Long-Tail Rainfall Nowcasting

강수 예측은 홍수 경보, 농업 관리, 긴급 구조 활동에 매우 중요하지만, 여전히 두 가지 문제가 존재합니다. 첫째, 다변량 대기 데이터로부터 수백만 개의 시공간 데이터를 모델링하는 데 드는 막대한 비용입니다. 둘째, 극심한 불균형 분포를 보이는 강수 현상으로, 사회에 가장 큰 영향을 미치는 폭우 또는 호우 현상은 전체 데이터의 0.1% 미만을 차지합니다. 본 논문에서는 강수량에 따라 컴퓨팅 자원을 동적으로 조절하는 Transformer 기반 모델인 Precipitation-Adaptive Network (PA-Net)을 제안합니다. PA-Net의 핵심 구성 요소인 Precipitation-Adaptive MoE (PA-MoE)는 각 데이터 포인트에 대해 활성화되는 전문가의 수를 지역 강수량에 따라 동적으로 조정하여, 희귀하지만 중요한 폭우 영역에 더 풍부한 표현 능력을 집중시킵니다. Dual-Axis Compressed Latent Attention 메커니즘은 컨볼루션 감소를 통해 시공간적 주의 집중을 효율적으로 처리하며, 강수량 정보를 활용한 학습 전략은 극한 강수 샘플로부터 학습 신호를 강화합니다. ERA5 데이터셋에 대한 실험 결과, PA-Net은 최첨단 모델 대비 일관된 성능 향상을 보였으며, 특히 강한 비와 폭우 현상에서 더욱 큰 성능 향상을 달성했습니다.

Precipitation nowcasting is vital for flood warning, agricultural management, and emergency response, yet two bottlenecks persist: the prohibitive cost of modeling million-scale spatiotemporal tokens from multi-variate atmospheric fields, and the extreme long-tailed rainfall distribution where heavy-to-torrential events -- those of greatest societal impact -- constitute fewer than 0.1% of all samples. We propose the Precipitation-Adaptive Network (PA-Net), a Transformer framework whose computational budget is explicitly governed by rainfall intensity. Its core component, Precipitation-Adaptive MoE (PA-MoE), dynamically scales the number of activated experts per token according to local precipitation magnitude, channeling richer representational capacity toward the rare yet critical heavy-rainfall tail. A Dual-Axis Compressed Latent Attention mechanism factorizes spatiotemporal attention with convolutional reduction to manage massive context lengths, while an intensity-aware training protocol progressively amplifies learning signals from extreme-rainfall samples. Experiment on ERA5 demonstrate consistent improvements over state-of-the-art baselines, with particularly significant gains in heavy-rain and rainstorm regimes.