효율적인 예측을 위한 시계열 기초 모델 증류

Distilling Time Series Foundation Models for Efficient Forecasting

시계열 기초 모델(TSFM)은 대규모 사전 훈련을 통해 강력한 예측 성능을 제공하지만, 큰 파라미터 크기로 인해 배포 비용이 높습니다. 지식 증류는 모델 압축에 대한 자연스럽고 효과적인 접근 방식이지만, 일반적인 머신 러닝 작업에 개발된 기술은 시계열 예측의 고유한 특성으로 인해 직접적으로 적용하기 어렵습니다. 이러한 문제를 해결하기 위해, TSFM에 특화된 첫 번째 증류 프레임워크인 DistilTS를 제시합니다. DistilTS는 다음과 같은 두 가지 주요 과제를 해결합니다. (1) 예측에 특유한 작업 난이도 차이, 즉, 균일한 가중치 부여는 최적화가 더 쉬운 단기 예측에 의해 지배되고, 장기 예측은 상대적으로 약한 지도를 받게 됩니다. (2) 증류의 일반적인 과제인 아키텍처 차이, 이를 해결하기 위해 시계열 예측에 대한 정렬 메커니즘을 설계했습니다. 이러한 문제를 극복하기 위해, DistilTS는 학습 과정을 균형 있게 만들기 위한 수평(horizon) 가중 객체 함수와 아키텍처 불일치를 줄이기 위한 시간 정렬 전략을 도입하여, 더욱 작고 효율적인 모델을 구현합니다. 여러 벤치마크 실험에서 DistilTS는 전체 크기의 TSFM과 비교 가능한 예측 성능을 달성하는 동시에, 파라미터를 최대 1/150로 줄이고 추론 속도를 최대 6000배까지 향상시키는 것을 보여줍니다. 코드: https://github.com/itsnotacie/DistilTS-ICASSP2026

Time Series foundation models (TSFMs) deliver strong forecasting performance through large-scale pretraining, but their large parameter sizes make deployment costly. While knowledge distillation offers a natural and effective approach for model compression, techniques developed for general machine learning tasks are not directly applicable to time series forecasting due to the unique characteristics. To address this, we present DistilTS, the first distillation framework specifically designed for TSFMs. DistilTS addresses two key challenges: (1) task difficulty discrepancy, specific to forecasting, where uniform weighting makes optimization dominated by easier short-term horizons, while long-term horizons receive weaker supervision; and (2) architecture discrepancy, a general challenge in distillation, for which we design an alignment mechanism in the time series forecasting. To overcome these issues, DistilTS introduces horizon-weighted objectives to balance learning across horizons, and a temporal alignment strategy that reduces architectural mismatch, enabling compact models. Experiments on multiple benchmarks demonstrate that DistilTS achieves forecasting performance comparable to full-sized TSFMs, while reducing parameters by up to 1/150 and accelerating inference by up to 6000x. Code is available at: https://github.com/itsnotacie/DistilTS-ICASSP2026.