EIDOS: 잠재 공간 예측 학습을 위한 시계열 기반 모델

EIDOS: Latent-Space Predictive Learning for Time Series Foundation Models

대부분의 시계열 기반 모델은 미래 관측값을 직접 예측하여 사전 훈련하는데, 이는 종종 일관성 없는 잠재 표현을 생성하며, 이는 일관되고 예측 가능한 시간적 동역학보다는 표면적인 노이즈를 반영하는 경향이 있습니다. 본 연구에서는 사전 훈련 방식을 미래 값 예측에서 잠재 공간 예측 학습으로 전환하는 기반 모델 패밀리인 EIDOS를 소개합니다. 우리는 원인-결과 관계를 파악하는 Transformer를 훈련하여 잠재 표현의 변화를 예측함으로써, 구조적이고 시간적으로 일관된 잠재 상태의 형성을 유도합니다. 잠재 공간 학습을 위한 안정적인 목표값을 확보하기 위해, 경량화된 집계 분기를 설계하여 목표 표현을 구성합니다. EIDOS는 잠재 공간 정렬, 입력 신호에 표현을 고정하는 관측 기반 학습, 그리고 직접적인 예측 감독을 통합하는 공동 목적 함수를 통해 최적화됩니다. GIFT-Eval 벤치마크에서 EIDOS는 표현 공간의 구조적 단편화를 완화하고 최첨단 성능을 달성합니다. 이러한 결과는 모델이 예측 가능한 잠재 동역학을 학습하도록 제한하는 것이 더욱 강력하고 신뢰할 수 있는 시계열 기반 모델을 개발하는 데 있어 중요한 단계임을 보여줍니다.

Most time series foundation models are pretrained by directly predicting future observations, which often yields weakly structured latent representations that capture surface noise rather than coherent and predictable temporal dynamics. In this work, we introduce EIDOS, a foundation model family that shifts pretraining from future value prediction to latent-space predictive learning. We train a causal Transformer to predict the evolution of latent representations, encouraging the emergence of structured and temporally coherent latent states. To ensure stable targets for latent-space learning, we design a lightweight aggregation branch to construct target representations. EIDOS is optimized via a joint objective that integrates latent-space alignment, observational grounding to anchor representations to the input signal, and direct forecasting supervision. On the GIFT-Eval benchmark, EIDOS mitigates structural fragmentation in the representation space and achieves state-of-the-art performance. These results demonstrate that constraining models to learn predictable latent dynamics is a principled step toward more robust and reliable time series foundation models.