테이블 형식 사전 학습 네트워크를 활용한 제로샷 다변량 시계열 예측

Zero-shot Multivariate Time Series Forecasting Using Tabular Prior Fitted Networks

테이블 형식 기반 모델, 특히 사전 데이터 기반 네트워크(Prior-data Fitted Networks, TabPFN)는 데이터 보간부터 레이블 예측에 이르기까지 다양한 작업에서 탁월한 성능을 보여주며, 기존의 트리 기반 모델의 성공을 뛰어넘었습니다. 이러한 발전으로 인해, 테이블 형식으로 표현될 수 있는 시계열 데이터를 예측하는 데 이러한 모델의 적용 가능성에 대한 연구가 진행되었습니다. 최근 연구에서 긍정적인 결과가 나타났지만, 대부분의 연구는 다변량 시계열 문제를 여러 개의 독립적인 단변량 시계열 예측 문제로 나누어 처리하여 채널 간의 상호 작용을 고려하지 않았습니다. 이러한 제한점을 극복하기 위해, 테이블 형식 기반 모델을 사용하여 일반적으로 적용 가능한 다변량 시계열 예측 프레임워크를 제안합니다. 우리는 다변량 시계열 예측 문제를 일련의 스칼라 회귀 문제로 재구성하여, 회귀 기능을 갖춘 모든 테이블 형식 기반 모델이 제로샷 방식으로 이를 해결할 수 있도록 합니다. 우리는 TabPFN-TS 백본을 사용한 방법의 결과를 제시하고, 현재 최고 수준의 테이블 형식 기반 방법과 성능을 비교합니다.

Tabular foundation models, particularly Prior-data Fitted Networks like TabPFN have emerged as the leading contender in a myriad of tasks ranging from data imputation to label prediction on the tabular data format surpassing the historical successes of tree-based models. This has led to investigations on their applicability to forecasting time series data which can be formulated as a tabular problem. While recent work to this end has displayed positive results, most works have limited their treatment of multivariate time series problems to several independent univariate time series forecasting subproblems, thus ignoring any inter-channel interactions. Overcoming this limitation, we introduce a generally applicable framework for multivariate time series forecasting using tabular foundation models. We achieve this by recasting the multivariate time series forecasting problem as a series of scalar regression problems which can then be solved zero-shot by any tabular foundation model with regression capabilities. We present results of our method using the TabPFN-TS backbone and compare performance with the current state of the art tabular methods.