TS-RAG: 검색 기반 생성 모델을 활용한 시계열 예측

TS-RAG: Retrieval Augmented Generation for Time Series Forecasting

심층 학습 모델, 특히 트랜스포머 기반 아키텍처는 시계열 예측 분야에서 뛰어난 성능을 보여주었지만, 검색 기반 생성(RAG) 기술의 적용은 아직 제한적입니다. RAG는 관련 외부 정보를 통합하여 대규모 언어 모델의 기능을 향상시키는 데 효과적인 것으로 입증되었으며, 유사한 시계열 데이터를 참조 자료로 활용하면 시계열 예측 작업의 정확도를 높일 수 있을 것입니다. 그러나 대부분의 시계열 모델은 제한된 학습 데이터, 작은 파라미터 규모, 그리고 대규모 언어 모델에서 발견되는 광범위한 생성 능력이 부족합니다. 언어 모델과 마찬가지로 단순히 참조 데이터를 프롬프트에 연결하는 방식으로는 예상만큼 좋은 결과를 얻지 못할 수 있습니다. 이러한 문제점을 해결하기 위해, 시계열 예측 성능을 향상시키는 새로운 접근 방식인 TS-RAG를 제안합니다. 이 프레임워크는 특별히 설계된 참조 토큰을 사용하여 입력 시퀀스와 검색된 유사한 시퀀스의 정보를 효과적으로 통합하고, 복잡한 시간적 동역학을 보다 강력하게 반영할 수 있도록 합니다. 실험 결과는 TS-RAG가 여러 실제 시계열 예측 벤치마크에서 일관성 있게 최고 수준의 성능을 달성한다는 것을 보여줍니다.

While deep learning models, particularly transformer-based architectures, have shown impressive performance in time series forecasting, the application of retrieval-augmented generation (RAG) in this domain remains limited. Since RAG has proven effective in enhancing the capabilities of large language models by incorporating relevant external information, retrieving similar time series sequences as references might also improve accuracy in time series forecasting tasks. However, most time series models are constrained by limited training data, smaller parameter scales, and a lack of the extensive generative capabilities found in large language models. Simply concatenating reference sequences into the prompt, as done in language models, may not yield the expected results. To address these challenges, we propose a novel approach, TS-RAG, which leverages RAG to enhance forecasting performance. The framework introduces specially designed reference tokens to effectively fuse information from the input sequence with that from retrieved similar sequences, enabling a more robust capture of complex temporal dynamics. Experimental results demonstrate that TS-RAG achieves consistent state-of-the-art performance across several real-world forecasting benchmarks.