FaST: 혼합 전문가 모델을 활용한 대규모 공간-시간 그래프의 효율적이고 효과적인 장기 예측

FaST: Efficient and Effective Long-Horizon Forecasting for Large-Scale Spatial-Temporal Graphs via Mixture-of-Experts

대규모 네트워크에서의 공간-시간 그래프(STG) 예측은 많은 관심을 받고 있습니다. 그러나 기존 모델은 주로 단기 예측에 초점을 맞추고 있으며, 장기 예측 및 대규모 그래프로 확장할 때 상당한 계산 비용과 메모리 사용량을 발생시키는 문제가 있습니다. 이러한 문제점을 해결하기 위해, 본 논문에서는 장기 예측 및 대규모 STG 예측을 위한 효과적이고 효율적인 프레임워크인 FaST를 제안합니다. FaST는 이질성을 고려한 혼합 전문가(MoE) 모델을 기반으로 하며, 수천 개의 노드를 포함하는 네트워크에서 1주일(15분 단위로 672단계) 예측을 가능하게 합니다. FaST는 두 가지 핵심적인 혁신을 기반으로 합니다. 첫째, 대규모 그래프에 적용될 때 기존 그래프 컨볼루션 및 자기 주의 모듈에서 발생하는 계산 부담을 완화하기 위한 적응형 그래프 에이전트 주의 메커니즘을 제안합니다. 둘째, 기존의 피드포워드 네트워크를 게이티드 선형 유닛(GLU)으로 대체하는 새로운 병렬 MoE 모듈을 제안하여 효율적이고 확장 가능한 병렬 구조를 구현합니다. 실제 데이터셋에 대한 광범위한 실험 결과, FaST는 최첨단 모델과 비교하여 뛰어난 장기 예측 정확도를 제공할 뿐만 아니라 뛰어난 계산 효율성을 달성하는 것으로 나타났습니다. 본 논문의 소스 코드는 다음 주소에서 확인할 수 있습니다: https://github.com/yijizhao/FaST.

Spatial-Temporal Graph (STG) forecasting on large-scale networks has garnered significant attention. However, existing models predominantly focus on short-horizon predictions and suffer from notorious computational costs and memory consumption when scaling to long-horizon predictions and large graphs. Targeting the above challenges, we present FaST, an effective and efficient framework based on heterogeneity-aware Mixture-of-Experts (MoEs) for long-horizon and large-scale STG forecasting, which unlocks one-week-ahead (672 steps at a 15-minute granularity) prediction with thousands of nodes. FaST is underpinned by two key innovations. First, an adaptive graph agent attention mechanism is proposed to alleviate the computational burden inherent in conventional graph convolution and self-attention modules when applied to large-scale graphs. Second, we propose a new parallel MoE module that replaces traditional feed-forward networks with Gated Linear Units (GLUs), enabling an efficient and scalable parallel structure. Extensive experiments on real-world datasets demonstrate that FaST not only delivers superior long-horizon predictive accuracy but also achieves remarkable computational efficiency compared to state-of-the-art baselines. Our source code is available at: https://github.com/yijizhao/FaST.