TRACE: 다중 모드 시계열 기초 모델을 위한 시간 조건부 추정

TRACE: A Temporal Conditional Estimation for Multimodal Time Series Foundation Models

시계열 기초 모델(TS-FMs)은 다양한 하위 작업에 적용될 수 있는 일반화 가능한 시간적 표현을 학습하는 것을 목표로 합니다. 실제 다중 모드 환경에서, 시계열 데이터는 종종 시간 불일치 및 부분 모드 누락의 영향을 받으며, 이는 서로 다른 모드가 이질적인 시간 척도로 관찰되거나 일부가 완전히 누락되는 경우를 의미합니다. 기존 방식은 일반적으로 단순한 대체(imputation) 또는 마스킹 전략에 의존하는데, 이는 모드 간의 상호 의존성을 고려하지 못하며 종종 잘못 정렬되거나 품질이 저하된 표현을 초래합니다. 본 논문에서는 누락 및 불규칙 샘플링 환경에서 다중 모드 시계열 기초 모델 파이프라인을 위한 조건부 추정 패러다임인 TRACE를 제안합니다. TRACE는 사용 가능한 보조 모드를 기반으로 누락된 대상 모드를 체계적으로 추론할 수 있도록 설계되었습니다. 우리는 의료 및 감정 컴퓨팅 분야의 다양한 다중 모드 벤치마크에서 TRACE를 평가했으며, 여기에는 MIMIC-IV 임상 데이터셋과 CMU-MOSI 및 CMU-MOSEI 다중 모드 감성 분석 벤치마크가 포함됩니다. 다양한 하위 예측 작업 및 누락된 모드의 설정에서, TRACE는 기존의 다중 모드 융합 방식보다 일관되게 뛰어난 성능을 보이며, 심각한 모드 누락에 대한 향상된 안정성과 더욱 신뢰할 수 있는 모드 간 표현을 제공합니다.

Time series foundation models (TS-FMs) aim to learn generalizable temporal representations that can be adapted to a wide range of downstream tasks. In real-world multimodal settings, time series are frequently affected by temporal misalignment and partial modality missingness, where different modalities are observed at heterogeneous time scales or are partially absent. Existing approaches typically rely on naive imputation or masking strategies, which fail to account for cross-modal dependencies and often lead to misaligned or degraded representations. We propose TRACE, a conditional estimation paradigm for multimodal time series foundation model pipelines under missingness and irregular sampling, allowing incomplete target modalities to be systematically inferred from available auxiliary modalities. We evaluate TRACE on diverse multimodal benchmarks spanning healthcare and affective computing, including the MIMIC-IV clinical dataset and the CMU-MOSI and CMU-MOSEI benchmarks for multimodal sentiment analysis. Across a range of downstream prediction tasks and missing-modality settings, TRACE consistently outperforms prior multimodal fusion approaches, demonstrating improved robustness to severe modality missingness and more reliable cross-modal representations.