MP3: 다중 기간 패턴 사전 학습을 통한 시공간 예측

MP3: Multi-Period Pattern Pre-training forSpatio-Temporal Forecasting

시공간 예측은 교통, 기후 및 에너지와 같은 다양한 분야에서 매우 중요합니다. 도시의 시공간 데이터는 '시간적 환영' 현상을 보입니다. 즉, 유사한 짧은 시간 범위의 입력 데이터가 서로 다른 미래 추세를 나타내거나, 반대로 동일한 미래 추세가 다르게 표현될 수 있습니다. 기존의 시공간 그래프 신경망(STGNN)은 이러한 환영 현상을 효과적으로 식별하지 못합니다. 우리는 이러한 문제의 근본적인 원인이 짧은 시간 범위 내에서 불완전한 기간 관찰, 이질적인 전역 공간 상관관계 및 서로 다른 기간 간의 인과 관계 상호작용에 있다는 것을 주장합니다. 이러한 격차를 해소하기 위해, 시공간 예측 성능을 향상시키기 위한 새로운 사전 학습 방법인 다중 기간 패턴 사전 학습(MP3)을 개발했습니다. MP3은 다음과 같은 두 가지 핵심 혁신을 제시합니다. (1) 다중 기간 패턴 학습: 이 방법은 장기간의 시계열 데이터에서 다양한 기간 패턴을 학습하도록 설계되었습니다. 구체적으로, 다중 기간 시간 모델링은 에지 컨볼루션을 활용하여 서로 다른 다중 기간 패턴을 식별합니다. 다중 기간 공간 모델링은 병목 구조와 전역 메모리 뱅크를 사용하여 효율적으로 이질적인 전역 공간 관계를 파악합니다. 또한, 인과 관계 강화 트랜스포머를 사용하여 서로 다른 기간 패턴 간의 의존성을 포착합니다. (2) 이 플러그인은 기존 STGNN 모델에 쉽게 통합되어 예측 성능을 향상시킬 수 있습니다. 5개의 실제 데이터셋(CA 대규모 데이터셋 포함)에서 5개의 STGNN 기본 모델에 대한 실험 결과, MP3은 효과성, 우수한 확장성 및 강력한 적응성을 입증했으며, 모든 평가된 기본 모델에서 일관되고 견고한 성능 향상을 가져왔습니다. 평균적으로 MP3은 MAE를 4.7% 감소시키고 RMSE를 5.0% 감소시켰습니다. 관련 코드는 다음 링크에서 확인할 수 있습니다: https://github.com/YAN-outlook/MP3.

Spatio-Temporal forecasting is crucial in diverse fields, such as transportation, climate, and energy. Urban spatio-temporal data exhibits temporal mirage: similar short-window inputs have divergent future trends, and vice versa. Existing spatio-temporal graph neural networks (STGNNs) cannot effectively identify such mirages. We argue that the core reason lies in the short-window inputs that have incomplete period observation, heterogeneous global spatial correlation, and cross-period superposition causality. To bridge this gap, we develop a novel Multi- Period Pattern Pre-training (MP3), a plug-and-play pre-training plugin for distinguishing temporal mirages. MP3 presents two core innovations: (1) The multi-period pattern learning is designed to learn multi-period patterns from long time series. Specifically, multi-period temporal modeling leverages edge convolution to identify different multi-period patterns. Multi-period spatial modeling uses a bottleneck project and a global memory bank to capture heterogeneous global spatial relations efficiently. Cross-period pattern interaction employs a causality-enhanced Transformer to capture dependencies across different period patterns. (2) This plugin can seamlessly integrate into existing STGNN backbones to strengthen their forecasting performance. The experiment on five STGNN baselines across five real-world datasets (including a large-scale dataset CA) verify the effectiveness, superior scalability and strong adaptability of MP3, which brings consistent and robust performance improvements across all evaluated baselines. On average, MP3 reduces the MAE 4.7% and the RMSE 5.0%. The code can be available at https://github.com/YAN-outlook/MP3.