WaveMoE: 시간 시리즈 예측을 위한 웨이블릿 기반 혼합 전문가 모델

WaveMoE: A Wavelet-Enhanced Mixture-of-Experts Foundation Model for Time Series Forecasting

최근 시간 시리즈 기반 모델(TSFM)은 다양한 시간 시리즈 데이터에 대한 대규모 사전 훈련을 통해 보편적인 예측 분야에서 괄목할 만한 성공을 거두었습니다. 이러한 발전과 더불어, 주파수 영역 정보를 통합하면 주기성 및 국소적인 고주파 동역학과 같이 실제 시간 시리즈 데이터에서 흔히 나타나는 복잡한 시간 패턴을 모델링하는 성능을 향상시키는 데 유망한 결과를 보여줍니다. 이러한 방향을 발전시키기 위해, 우리는 명시적인 주파수 영역 표현을 확장 가능한 기반 모델에 통합하는 새로운 관점을 제시하고, 시간 시리즈 예측을 위한 웨이블릿 기반 혼합 전문가 모델인 WaveMoE를 소개합니다. WaveMoE는 시간 시리즈 토큰과 통일된 시간 축을 따라 정렬된 웨이블릿 토큰을 동시에 처리하는 이중 경로 아키텍처를 채택하며, 공유된 전문가 라우팅 메커니즘을 통해 일관된 전문가 특화 기능을 제공하면서 모델 용량을 효율적으로 확장합니다. 16개의 다양한 벤치마크 데이터 세트에 대한 초기 실험 결과는 WaveMoE가 웨이블릿 영역 코퍼스를 통합함으로써 예측 성능을 더욱 향상시킬 수 있는 잠재력을 가지고 있음을 나타냅니다.

Time series foundation models (TSFMs) have recently achieved remarkable success in universal forecasting by leveraging large-scale pretraining on diverse time series data. Complementing this progress, incorporating frequency-domain information yields promising performance in enhancing the modeling of complex temporal patterns, such as periodicity and localized high-frequency dynamics, which are prevalent in real-world time series. To advance this direction, we propose a new perspective that integrates explicit frequency-domain representations into scalable foundation models, and introduce WaveMoE, a wavelet-enhanced mixture-of-experts foundation model for time series forecasting. WaveMoE adopts a dual-path architecture that jointly processes time series tokens and wavelet tokens aligned along a unified temporal axis, and coordinates them through a shared expert routing mechanism that enables consistent expert specialization while efficiently scaling model capacity. Preliminary experimental results on 16 diverse benchmark datasets indicate that WaveMoE has the potential to further improve forecasting performance by incorporating wavelet-domain corpora.