CoRA: 상관 관계 인지 어댑터를 이용한 다변량 시계열 예측을 위한 시계열 기반 모델 성능 향상

CoRA: Boosting Time Series Foundation Models for Multivariate Forecasting through Correlation-aware Adapter

대부분의 기존 시계열 기반 모델(TSFMs)은 채널 독립적인 모델링을 사용하며, 시간적 의존성을 파악하고 일반화하는 데 중점을 두지만, 채널 간의 상관 관계를 간과하거나 다양한 측면의 상관 관계를 고려하지 않습니다. 그러나 이러한 상관 관계는 다변량 시계열 예측에서 중요한 역할을 합니다. 이러한 문제를 해결하기 위해, 우리는 상관 관계를 인지하는 어댑터(CoRA)를 제안합니다. CoRA는 경량의 플러그 앤 플레이 방식으로, TSFM을 활용하여 미세 조정만으로 다양한 유형의 상관 관계를 파악하여 예측 성능을 향상시킬 수 있습니다. 특히, 복잡성을 줄이기 위해, 우리는 혁신적으로 상관 행렬을 저랭크의 시간 가변(Time-Varying) 및 시간 불변(Time-Invariant) 구성 요소로 분해합니다. 시간 가변 구성 요소의 경우, 추세 또는 주기적 패턴을 파악하여 동적 상관 관계를 학습하기 위해 학습 가능한 다항식을 추가로 설계합니다. 또한, 일부 채널 간에만 나타나는 양수 및 음수 상관 관계를 학습하기 위해, 우리는 새로운 이중 대비 학습(dual contrastive learning) 방법을 도입합니다. 이 방법은 훈련 중에 이기종-부분 대비 손실(Heterogeneous-Partial contrastive loss)에 의해 제어되는 투영 레이어를 통해 상관 관계를 식별하며, 추론 단계에서 추가적인 복잡성을 도입하지 않습니다. 10개의 실제 데이터 세트에 대한 광범위한 실험 결과, CoRA가 다변량 예측 성능 측면에서 TSFM의 성능을 향상시킬 수 있음을 보여줍니다.

Most existing Time Series Foundation Models (TSFMs) use channel independent modeling and focus on capturing and generalizing temporal dependencies, while neglecting the correlations among channels or overlooking the different aspects of correlations. However, these correlations play a vital role in Multivariate time series forecasting. To address this, we propose a CoRrelation-aware Adapter (CoRA), a lightweight plug-and-play method that requires only fine-tuning with TSFMs and is able to capture different types of correlations, so as to improve forecast performance. Specifically, to reduce complexity, we innovatively decompose the correlation matrix into low-rank Time-Varying and Time-Invariant components. For the Time-Varying component, we further design learnable polynomials to learn dynamic correlations by capturing trends or periodic patterns. To learn positive and negative correlations that appear only among some channels, we introduce a novel dual contrastive learning method that identifies correlations through projection layers, regulated by a Heterogeneous-Partial contrastive loss during training, without introducing additional complexity in the inference stage. Extensive experiments on 10 real-world datasets demonstrate that CoRA can improve TSFMs in multivariate forecasting performance.