AdaNODEs: 신경망 상미분방정식을 활용한 시계열 예측을 위한 테스트 시간 적응

AdaNODEs: Test Time Adaptation for Time Series Forecasting Using Neural ODEs

테스트 시간 적응(TTA)은 사전 학습된 모델을 레이블이 없는 대상 도메인 데이터를 사용하여 새로운 데이터 분포에 적응시키는 유망한 방법으로 부상했습니다. 그러나 대부분의 TTA 방법은 독립적인 데이터에 맞춰 설계되었으며, 종종 시계열 데이터를 간과하고 예측 작업에 대한 해결책을 거의 제시하지 못합니다. 본 논문에서는 시계열 예측을 위해 특별히 설계된 혁신적인 비소스 TTA 방법인 AdaNODEs를 제시합니다. 우리는 신경망 상미분방정식(NODEs)을 활용하여 시계열 데이터의 분포 변화라는 고유한 특성을 수용하는 새로운 적응 프레임워크를 제안합니다. 또한, 예측 작업에 대한 TTA를 해결하기 위한 새로운 손실 함수를 새롭게 제안합니다. AdaNODEs는 제한된 모델 파라미터만 업데이트하여 필요한 만큼, 시간적 의존성을 효과적으로 파악하면서도 상당한 메모리 사용을 피할 수 있습니다. 1차원 및 고차원 데이터에 대한 광범위한 실험 결과, AdaNODEs는 최첨단(SOTA) 기준 성능보다 각각 5.88% 및 28.4%의 상대적인 성능 향상을 보여주며, 특히 더 심각한 분포 변화에 대한 강건성을 입증합니다.

Test time adaptation (TTA) has emerged as a promising solution to adapt pre-trained models to new, unseen data distributions using unlabeled target domain data. However, most TTA methods are designed for independent data, often overlooking the time series data and rarely addressing forecasting tasks. This paper presents AdaNODEs, an innovative source-free TTA method tailored explicitly for time series forecasting. By leveraging Neural Ordinary Differential Equations (NODEs), we propose a novel adaptation framework that accommodates the unique characteristics of distribution shifts in time series data. Moreover, we innovatively propose a new loss function to tackle TTA for forecasting tasks. AdaNODEs only requires updating limited model parameters, showing effectiveness in capturing temporal dependencies while avoiding significant memory usage. Extensive experiments with one- and high-dimensional data demonstrate that AdaNODEs offer relative improvements of 5.88\% and 28.4\% over the SOTA baselines, especially demonstrating robustness across higher severity distribution shifts.