T-LLM: 시계열 데이터 예측을 위한 대규모 언어 모델 훈련: 시간적 증류를 통한 방법

T-LLM: Teaching Large Language Models to Forecast Time Series via Temporal Distillation

시계열 예측은 다양한 실제 응용 분야에서 의사 결정에 중요한 역할을 합니다. 컴퓨터 비전 및 자연어 처리 데이터와 달리, 시계열 데이터는 근본적으로 기본 프로세스의 변화와 관련되어 있으며, 실제 시간의 경과에 따라 축적되기 때문에, 단순히 규모를 확대하는 사전 훈련만으로는 효과를 보기 어렵습니다. 이러한 시간적 제약은 대규모 언어 모델(LLM)이 예측 능력을 습득하는 데 어려움을 야기합니다. 기존 접근 방식은 주로 표현 수준의 정렬 또는 추론 시간의 시간적 모듈에 의존하며, LLM에게 명시적으로 예측 행동을 가르치지는 않습니다. 본 논문에서는 T-LLM이라는 시간적 증류 프레임워크를 제안합니다. T-LLM은 일반적인 LLM에 시계열 예측 능력을 부여하기 위해, 훈련 과정에서 경량의 시간적 '교사' 모델로부터 예측 행동을 전이하는 방식입니다. 교사 모델은 추세 모델링과 주파수 영역 분석을 결합하여 구조화된 시간적 지침을 제공하며, 추론 시에는 완전히 제거되어 LLM만이 예측 모델로 사용됩니다. 벤치마크 데이터 세트 및 감염병 예측 작업에 대한 실험 결과, T-LLM은 전체 데이터, 소량 데이터, 그리고 데이터가 전혀 없는 환경에서 기존의 LLM 기반 예측 방법보다 일관되게 우수한 성능을 보이며, 간단하고 효율적인 배포 파이프라인을 가능하게 합니다.

Time series forecasting plays a critical role in decision-making across many real-world applications. Unlike data in vision and language domains, time series data is inherently tied to the evolution of underlying processes and can only accumulate as real-world time progresses, limiting the effectiveness of scale-driven pretraining alone. This time-bound constraint poses a challenge for enabling large language models (LLMs) to acquire forecasting capability, as existing approaches primarily rely on representation-level alignment or inference-time temporal modules rather than explicitly teaching forecasting behavior to the LLM. We propose T-LLM, a temporal distillation framework that equips general-purpose LLMs with time series forecasting capability by transferring predictive behavior from a lightweight temporal teacher during training. The teacher combines trend modeling and frequency-domain analysis to provide structured temporal supervision, and is removed entirely at inference, leaving the LLM as the sole forecasting model. Experiments on benchmark datasets and infectious disease forecasting tasks demonstrate that T-LLM consistently outperforms existing LLM-based forecasting methods under full-shot, few-shot, and zero-shot settings, while enabling a simple and efficient deployment pipeline.