Baguan-TS: 시계열 예측을 위한, 변수를 고려하는, 시퀀스 기반의 컨텍스트 학습 모델

Baguan-TS: A Sequence-Native In-Context Learning Model for Time Series Forecasting with Covariates

트랜스포머는 시계열 예측에서 빠른, 기울기 기반이 아닌 적응을 가능하게 하는 컨텍스트 학습(ICL)을 지원하지만, 대부분의 ICL 방식은 테이블화된, 수동으로 설계된 특징에 의존하는 반면, 엔드-투-엔드 시퀀스 모델은 추론 시간 적응 능력이 부족합니다. 우리는 이러한 격차를 해소하기 위해, 원시 시퀀스 표현 학습과 ICL을 통합한 통합 프레임워크인 Baguan-TS를 제안합니다. 이는 3차원 트랜스포머를 사용하여 시간, 변수, 그리고 컨텍스트 축에 대해 동시에 어텐션을 수행합니다. 이 고용량 모델을 실용적으로 사용하기 위해, 우리는 두 가지 주요 과제를 해결했습니다. (i) 특징에 독립적인, 목표 공간 기반의 로컬 보정을 통해 개선된 교정 및 학습 안정성, 그리고 (ii) 컨텍스트 과적합 전략을 통해 완화된 출력 평활화 문제입니다. 공개 벤치마크에서 Baguan-TS는 변수를 고려한 환경에서 기존 모델보다 일관되게 우수한 성능을 보이며, 가장 높은 성공률을 달성하고, 포인트 예측 및 확률 예측 지표 모두에서 상당한 개선을 보였습니다. 다양한 실제 에너지 데이터 세트에 대한 추가적인 평가를 통해, Baguan-TS의 견고함이 입증되었으며, 상당한 성능 향상을 달성했습니다.

Transformers enable in-context learning (ICL) for rapid, gradient-free adaptation in time series forecasting, yet most ICL-style approaches rely on tabularized, hand-crafted features, while end-to-end sequence models lack inference-time adaptation. We bridge this gap with a unified framework, Baguan-TS, which integrates the raw-sequence representation learning with ICL, instantiated by a 3D Transformer that attends jointly over temporal, variable, and context axes. To make this high-capacity model practical, we tackle two key hurdles: (i) calibration and training stability, improved with a feature-agnostic, target-space retrieval-based local calibration; and (ii) output oversmoothing, mitigated via context-overfitting strategy. On public benchmark with covariates, Baguan-TS consistently outperforms established baselines, achieving the highest win rate and significant reductions in both point and probabilistic forecasting metrics. Further evaluations across diverse real-world energy datasets demonstrate its robustness, yielding substantial improvements.