MeTok: 하이퍼 정렬 그룹 학습을 통한 효율적인 기상 토큰화 기술 - 강수 예보를 위한 응용

MeTok: An Efficient Meteorological Tokenization with Hyper-Aligned Group Learning for Precipitation Nowcasting

최근 트랜스포머 기반 아키텍처가 기상 예측 분야에서 상당한 발전을 이루었지만, 위치 중심 토큰화 방식은 기상 시스템의 핵심 원리와 충돌합니다. 기상 현상은 여러 요소 간의 상호 작용을 통해 발생하며, 위치 정보는 단지 경계 조건의 일부에 불과하기 때문입니다. 본 연구는 강수 예보라는 특정 과제에 초점을 맞추어, 유사한 기상 특징을 공간적으로 그룹화하는 효율적인 분산 중심 기상 토큰화 (MeTok) 방식을 개발했습니다. 이 재정렬 방식을 기반으로, 재정렬된 그룹 학습은 다양한 강수 패턴, 특히 극한 강수 패턴에 대한 안정성을 향상시킵니다. 구체적으로, 본 연구에서는 두 가지 주요 개선 사항을 포함하는 하이퍼 정렬 그룹 트랜스포머 (HyAGTransformer)를 제안합니다. 첫째, 그룹 어텐션 (GA) 메커니즘은 MeTok을 활용하여 서로 다른 강수 패턴으로부터의 특징을 자체적으로 정렬하여 학습하도록 합니다. 둘째, 이웃 피드 포워드 네트워크 (N-FFN)는 인접한 그룹 특징을 통합하여 문맥 정보를 집계하고, 패치 임베딩의 구별력을 향상시킵니다. ERA5 데이터셋을 사용하여 6시간 예측 실험을 수행한 결과, 제안하는 방법은 극한 강수 예측에서 다른 방법보다 IoU 지표를 최소 8.2% 이상 향상시키는 것으로 나타났습니다. 또한, 더 많은 훈련 데이터와 증가된 파라미터를 사용하여 더 나은 성능을 보이며, 확장성, 안정성 및 기존 방법보다 우수한 성능을 입증합니다.

Recently, Transformer-based architectures have advanced meteorological prediction. However, this position-centric tokenizer conflicts with the core principle of meteorological systems, where the weather phenomena undoubtedly involve synergistic interactions among multiple elements while positional information constitutes merely a component of the boundary conditions. This paper focuses primarily on the task of precipitation nowcasting and develops an efficient distribution-centric Meteorological Tokenization (MeTok) scheme, which spatially sequences to group similar meteorological features. Based on the rearrangement, realigned group learning enhances robustness across precipitation patterns, especially extreme ones. Specifically, we introduce the Hyper-Aligned Grouping Transformer (HyAGTransformer) with two key improvements: 1) The Grouping Attention (GA) mechanism uses MeTok to enable self-aligned learning of features from different precipitation patterns; 2) The Neighborhood Feed-Forward Network (N-FFN) integrates adjacent group features, aggregating contextual information to boost patch embedding discriminability. Experiments on the ERA5 dataset for 6-hour forecasts show our method improves the IoU metric by at least 8.2% in extreme precipitation prediction compared to other methods. Additionally, it gains performance with more training data and increased parameters, demonstrating scalability, stability, and superiority over traditional methods.