벡터 주입 기반 컨텍스트 학습을 통한 시계열 예측을 위한 대규모 언어 모델 성능 향상

Enhancing Large Language Models for Time-Series Forecasting via Vector-Injected In-Context Learning

웹은 사용자 행동 및 사용 패턴의 변화에 대응하기 위해 안정적인 예측 기능을 필요로 합니다. 시계열 예측(TSF)은 이러한 목표를 달성하는 핵심적인 방법입니다. 최근 몇 년 동안 시계열 예측을 위한 대규모 언어 모델(LLM4TSF)은 우수한 성능을 보여주었습니다. 그러나 사전 학습 데이터와 시계열 데이터 간의 상당한 차이로 인해 LLM을 시계열 예측에 직접 적용할 때 예측 품질을 보장하기 어렵습니다. LLM을 미세 조정하면 이 문제를 완화할 수 있지만, 상당한 계산 오버헤드가 발생합니다. 따라서 LLM4TSF는 예측 성능과 계산 오버헤드의 이중적인 과제를 안고 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 모든 LLM 파라미터를 고정하여 계산 오버헤드를 줄이면서 LLM4TSF의 예측 성능을 향상시키는 방법을 탐구합니다. 컨텍스트 학습(ICL)에서 영감을 받아, LVICL을 제안합니다. LVICL은 벡터 주입 기반 ICL을 사용하여 예제 정보를 고정된 LLM에 주입함으로써, LLM의 컨텍스트 학습 능력을 활성화하고, 이를 통해 예제와 관련된 작업(즉, 시계열 예측)에 대한 성능을 향상시킵니다. 구체적으로, 먼저 LLM과 학습 가능한 컨텍스트 벡터 어댑터를 함께 사용하여 여러 예제에서 컨텍스트 벡터를 적응적으로 추출합니다. 이 벡터는 압축된 예제 관련 정보를 포함합니다. 그 후, 순전파 과정에서 이 벡터를 LLM의 모든 레이어에 주입하여 예측 성능을 향상시킵니다. 기존의 ICL이 예제를 프롬프트에 추가하는 것과는 달리, 우리의 벡터 주입 기반 ICL은 프롬프트 길이를 늘리지 않습니다. 또한, 예제에서 컨텍스트 벡터를 적응적으로 도출함으로써 예측에 해로운 요소를 억제하여 모델 성능을 향상시킵니다. 광범위한 실험을 통해 제안하는 방법의 효과성을 입증합니다.

The World Wide Web needs reliable predictive capabilities to respond to changes in user behavior and usage patterns. Time series forecasting (TSF) is a key means to achieve this goal. In recent years, the large language models (LLMs) for TSF (LLM4TSF) have achieved good performance. However, there is a significant difference between pretraining corpora and time series data, making it hard to guarantee forecasting quality when directly applying LLMs to TSF; fine-tuning LLMs can mitigate this issue, but often incurs substantial computational overhead. Thus, LLM4TSF faces a dual challenge of prediction performance and compute overhead. To address this, we aim to explore a method for improving the forecasting performance of LLM4TSF while freezing all LLM parameters to reduce computational overhead. Inspired by in-context learning (ICL), we propose LVICL. LVICL uses our vector-injected ICL to inject example information into a frozen LLM, eliciting its in-context learning ability and thereby enhancing its performance on the example-related task (i.e., TSF). Specifically, we first use the LLM together with a learnable context vector adapter to extract a context vector from multiple examples adaptively. This vector contains compressed, example-related information. Subsequently, during the forward pass, we inject this vector into every layer of the LLM to improve forecasting performance. Compared with conventional ICL that adds examples into the prompt, our vector-injected ICL does not increase prompt length; moreover, adaptively deriving a context vector from examples suppresses components harmful to forecasting, thereby improving model performance. Extensive experiments demonstrate the effectiveness of our approach.