혼합 모듈화 전문가 모델을 이용한 다중 모드 시계열 예측

Multi-Modal Time Series Prediction via Mixture of Modulated Experts

실제 세계의 시계열 데이터는 복잡하고 변화하는 특성을 가지고 있어 정확한 예측이 매우 어렵습니다. 최근의 다중 모드 예측 방법들은 뉴스 보고서와 같은 텍스트 정보를 활용하여 예측 성능을 향상시키지만, 대부분의 방법은 시계열 데이터의 시간 단편과 텍스트 토큰을 공유된 임베딩 공간에서 결합하는 토큰 단위의 융합 방식을 사용합니다. 그러나 이러한 융합 방식은 고품질의 시계열-텍스트 쌍이 부족하거나 시계열 데이터가 규모와 특성에서 상당한 차이를 보일 때 비효율적이며, 이는 모달 간 정렬을 복잡하게 만듭니다. 한편, 혼합 전문가(MoE) 아키텍처는 시계열 모델링 및 다중 모드 학습에 효과적인 것으로 입증되었지만, 많은 기존의 MoE 기반 모달 통합 방법은 여전히 토큰 단위 융합에 의존합니다. 이러한 문제를 해결하기 위해, 우리는 텍스트 신호에 따라 라우팅 및 전문가 계산을 모두 조정하는 새로운 패러다임인 '전문가 조절(Expert Modulation)'을 제안합니다. 이를 통해 전문가의 동작에 대한 직접적이고 효율적인 모달 간 제어가 가능합니다. 포괄적인 이론적 분석과 실험을 통해 제안된 방법이 다중 모드 시계열 예측에서 상당한 성능 향상을 가져옴을 보여줍니다. 현재 코드는 https://github.com/BruceZhangReve/MoME 에서 확인할 수 있습니다.

Real-world time series exhibit complex and evolving dynamics, making accurate forecasting extremely challenging. Recent multi-modal forecasting methods leverage textual information such as news reports to improve prediction, but most rely on token-level fusion that mixes temporal patches with language tokens in a shared embedding space. However, such fusion can be ill-suited when high-quality time-text pairs are scarce and when time series exhibit substantial variation in scale and characteristics, thus complicating cross-modal alignment. In parallel, Mixture-of-Experts (MoE) architectures have proven effective for both time series modeling and multi-modal learning, yet many existing MoE-based modality integration methods still depend on token-level fusion. To address this, we propose Expert Modulation, a new paradigm for multi-modal time series prediction that conditions both routing and expert computation on textual signals, enabling direct and efficient cross-modal control over expert behavior. Through comprehensive theoretical analysis and experiments, our proposed method demonstrates substantial improvements in multi-modal time series prediction. The current code is available at https://github.com/BruceZhangReve/MoME