숫자에서 프롬프트로: 경량 시계열 예측을 위한 인지 심볼 전환 메커니즘

From Numbers to Prompts: A Cognitive Symbolic Transition Mechanism for Lightweight Time-Series Forecasting

대규모 언어 모델은 시계열 예측 작업에서 놀라운 성공을 거두었지만, 막대한 계산 및 메모리 요구 사항으로 인해 경량 플랫폼에서의 배포가 제한됩니다. 본 논문에서는 숫자 시계열 데이터를 언어 모델과 연결하는 새로운 프레임워크인 심볼 전환 메커니즘(Symbolic Transition Mechanism, STM)을 제안합니다. STM은 인간의 인지 구조를 기반으로 양자화 기술을 사용하여 연속적인 시계열 값을 심볼 토큰으로 변환하고, 구조화된 심볼 변환을 통해 시간적 동역학을 포착하여 언어 모델이 시계열 데이터의 중요한 부분에 집중하여 빠른 예측을 수행할 수 있도록 합니다. STM은 기반 언어 모델의 무결성을 유지하면서 시계열 데이터에 내재된 동적 및 구조적 패턴을 추론하여 효율성을 크게 향상시키는 범용 메커니즘입니다. 우리는 다양한 시계열 데이터 세트에서 STM을 평가하고, 제한된 계산 환경을 갖춘 네 개의 소규모 언어 모델(SLM)과 함께 사용했습니다. 모든 모델에서 STM은 STM이 없는 기본 SLM과 비교하여 MAE에서 최대 69%, MSE에서 최대 90%의 오차 감소를 달성했습니다. 이러한 결과는 STM이 기초 모델을 사용하는 심볼 기반 시계열 예측을 위한 효율적이고 적응 가능한 레이어로서의 잠재력을 보여줍니다. 정확도 향상은 최소한의 리소스 비용으로 이루어졌으며, 기본 모델의 최대 GPU 메모리가 약 0.06% 증가하고 지연 시간이 0.64% 증가하는 정도입니다.

Large language models have achieved remarkable success in time series prediction tasks, but their substantial computational and memory requirements limit deployment on lightweight platforms. In this paper, we propose the Symbolic Transition Mechanism (STM) a novel framework that bridges numeric time series data and language models through symbolic abstraction and prompt engineering. STM transforms continuous time series values into symbol tokens with quantization techniques based on human cognitive structures, and captures temporal dynamics through structured transformations of symbols, enabling fast engineering based predictions in which language models focus on critical parts of time series data. STM is a general purpose mechanisms that ensure the integrity of backbone language models, but they significantly improve their efficiency by inferring the dynamic and structured patterns inherent in time series data. We evaluated STM on various time series datasets, paired with four small language models (SLM) with limited computational environments. For all models, STM achieves error reductions of up to 69% in MAE and 90% in MSE compared to the default backbone SLM without STM. These results demonstrate the potential of STM as an efficient, adaptable layer for symbol-driven time series prediction using foundation models. The accuracy improvements were made at negligible resource costs, with maximum GPU memory of the base model increasing by approximately 0.06% and latency overhead increasing by only 0.64%.