ADMFormer: 시간 변화에 따른 마스킹된 공간적 주의 메커니즘을 갖춘 적응형 분해 트랜스포머를 활용한 교통 예측

ADMFormer: An Adaptive-Decomposition Transformer with Time-Varying Masked Spatial Attention for Traffic Forecasting

정확한 교통 예측은 지능형 교통 시스템에서 필수적인 요소이며, 다양한 실제 응용 분야를 지원합니다. 그러나 다음 두 가지 주요 요인으로 인해 여전히 어려운 과제로 남아 있습니다. (1) 교통 데이터는 이질적인 시간적 패턴을 포함하며, 안정적인 주기적인 규칙성과 이벤트 기반의 변동성이 공존합니다. 기존 방법은 종종 이러한 요소들을 단일 표현 방식으로 처리하여 미세한 시간 동역학을 포착하는 능력을 제한합니다. (2) 노드 간의 공간적 의존성은 본질적으로 동적이고 희소하지만, 밀집된 모든 쌍에 대한 주의 메커니즘은 불필요한 상호 작용을 유발하고 노이즈를 증폭시키는 경향이 있습니다. 이러한 문제를 해결하기 위해, 시간 변화에 따른 마스킹된 공간적 주의 메커니즘을 갖춘 적응형 분해 트랜스포머인 ADMFormer를 제안합니다. 구체적으로, ADMFormer는 먼저 시간-노드 적응형 게이팅 메커니즘을 사용하여 교통 데이터를 시간에 따라 그리고 노드마다 다른 주된 규칙성과 잔여 변동성으로 분리합니다. 그런 다음, 두 가지 분해된 구성 요소로부터 전역적인 주기적 의존성과 고주파의 불규칙한 변화를 개별적으로 포착하기 위해 이중 브랜치 시간 모듈을 설계했습니다. 또한, ADMFormer는 실시간 교통 상태에 따라 공간적 상호 작용을 희소화하는 시간 변화에 따른 마스킹된 공간적 주의 메커니즘을 도입하여 동적이고 유용한 의존성을 효과적으로 유지합니다. 네 가지 실제 데이터 세트에 대한 광범위한 실험 결과, ADMFormer가 최첨단 성능을 달성함을 보여줍니다.

Accurate traffic forecasting is essential for intelligent transportation systems, supporting a wide range of real-world applications. However, it remains challenging due to two key factors:~(1) Traffic series contain heterogeneous temporal patterns, where stable periodic regularities coexist with event-driven fluctuations. Existing methods often treat them within a unified representation, limiting their ability to capture fine-grained temporal dynamics.~(2)Spatial dependencies among nodes are inherently dynamic and sparse, while dense all-pairs attention often introduces redundant interactions and amplifies noise. To address these issues, we propose ADMFormer, an Adaptive-Decomposition Transformer with Time-Varying Masked Spatial Attention. Specifically, ADMFormer first employs a time-node adaptive gating mechanism to decouple traffic signals into dominant regularities and residual fluctuations that vary across time and nodes. A dual-branch temporal module is then designed to separately capture global periodic dependencies and high-frequency irregular variations from these two decomposed components. Furthermore, ADMFormer introduces a time-varying masked spatial attention that sparsifies spatial interactions based on real-time traffic states, thereby effectively preserving dynamic and informative dependencies. Extensive experiments on four real-world datasets demonstrate that ADMFormer achieves state-of-the-art performance.