RMISC: 시계열 기반 모델을 위한 대규모 실세계 다변량 데이터셋

RMISC: A Large-scale Real-world Multivariate Corpus for Time Series Foundation Models

최근 몇 년 동안, 시계열 기반 모델(TSFM)을 활용한 다변량 모델링이 발전하면서 뛰어난 제로샷 일반화 성능을 보여주고 있습니다. 현대적인 다변량 TSFM은 주로 확장성이 용이하지만 실제 시계열 데이터에서 나타나는 복잡한 시간적 동역학과 변수 간의 상호 관계를 제대로 반영하지 못할 수 있는 인공 데이터를 기반으로 사전 학습됩니다. 이러한 상황에서 중요한 질문은 다음과 같습니다: 실제 데이터를 사용하여 훈련된 선도적인 TSFM이 인공 데이터로 훈련된 모델보다 얼마나 더 우수한 성능을 보이는가? 이 질문에 답하기 위해, 저희는 RMISC 데이터셋을 구축했습니다. RMISC는 다양한 분야의 약 200개 데이터 세트와 총 1420억 개의 시점을 포함하는, 매우 크고 고품질이며 공개적으로 이용 가능한 실세계 다변량 시계열 아카이브입니다. 또한, 저희는 4개의 고급 TSFM을 단변량, 인공 다변량 및 실제 다변량 데이터로 사전 학습하고, 표준적인 동일 분포 및 이종 분포 벤치마크에서 이들의 제로샷 일반화 능력을 평가했습니다. 실험 결과, 실제 다변량 데이터를 통합하는 것이 단변량 및 다변량 TSFM 모두의 일반화 성능을 주로 향상시키는 것으로 나타났습니다. 이러한 결과는 실제 다변량 데이터가 더욱 강력한 TSFM 개발에 어떻게 기여하는지에 대한 더 깊은 이해를 제공합니다.

Recent years have witnessed the emergence of multivariate modeling using time series foundation models (TSFMs), which achieve advanced zero-shot generalization. Modern multivariate TSFMs are predominantly pretrained on multivariate synthetic data, which is easier to scale but may fail to capture the complex temporal dynamics and cross-variable relationships present in real-world time series. This raises a key question: Whether and to what extent the leading TSFMs trained with the real-world corpus perform better than those trained with synthetic data? To answer this, we establish the RMISC corpus, a considerably large-scale, high-quality, openly accessible, real-world, and multivariate time series archive that contains around 200 datasets and 142 billion time points across diverse domains. Furthermore, we pretrain four advanced TSFMs on univariate, synthetic multivariate, and real-world multivariate data and evaluate their zero-shot generalization capabilities on standard in-distribution and out-of-distribution benchmarks. Experimental results show that incorporating real-world multivariate data predominantly improves the generalization performance for both univariate and multivariate TSFMs. These results provide a deeper understanding of how real-world multivariate data contributes to the development of stronger TSFMs.