TS-Memory: 시계열 파운데이션 모델을 위한 플러그 앤 플레이 메모리

TS-Memory: Plug-and-Play Memory for Time Series Foundation Models

시계열 파운데이션 모델(TSFM)은 대규모 사전 학습을 통해 강력한 제로샷 예측 성능을 달성하지만, 분포 이동이 발생하는 다운스트림 도메인에 이를 적응시키는 것은 여전히 어려운 과제이다. 기존의 해결책들은 상충 관계에 직면해 있다. 매개변수적 적응(Parametric Adaptation)은 파국적 망각을 유발할 수 있고 비용이 많이 드는 다중 도메인 유지보수를 필요로 하는 반면, 비매개변수적 검색(Non-Parametric Retrieval)은 예측 성능을 개선하지만 데이터 저장소 검색으로 인해 높은 추론 지연을 초래한다. 우리는 매개변수적 메모리 증류(Parametric Memory Distillation)를 제안하고, 이를 동결된 TSFM을 증강하는 경량 메모리 어댑터인 TS-Memory로 구현한다. TS-Memory는 두 단계로 학습된다. 첫째, 검색된 미래 데이터로부터 신뢰도를 인지하는 분위수 타겟을 합성하는, 정보 누출로부터 안전한 오프라인 kNN 교사 모델을 구성한다. 둘째, 신뢰도 게이팅 감독(confidence-gated supervision)을 통해 이러한 검색 유도 분포 보정을 경량 메모리 어댑터로 증류한다. 추론 과정에서 TS-Memory는 상수 시간 오버헤드로 메모리와 백본의 예측을 융합하여 검색 과정이 필요 없는 배포를 가능하게 한다. 다양한 TSFM 및 벤치마크에 대한 실험 결과, 동결된 백본과 필적하는 효율성을 유지하면서 대표적인 적응 방법들보다 점 예측 및 확률적 예측 모두에서 일관된 개선을 보여주었다.

Time Series Foundation Models (TSFMs) achieve strong zero-shot forecasting through large-scale pre-training, but adapting them to downstream domains under distribution shift remains challenging. Existing solutions face a trade-off: Parametric Adaptation can cause catastrophic forgetting and requires costly multi-domain maintenance, while Non-Parametric Retrieval improves forecasts but incurs high inference latency due to datastore search. We propose Parametric Memory Distillation and implement it as TS-Memory, a lightweight memory adapter that augments frozen TSFMs. TS-Memory is trained in two stages. First, we construct an offline, leakage-safe kNN teacher that synthesizes confidence-aware quantile targets from retrieved futures. Second, we distill this retrieval-induced distributional correction into a lightweight memory adapter via confidence-gated supervision. During inference, TS-Memory fuses memory and backbone predictions with constant-time overhead, enabling retrieval-free deployment. Experiments across diverse TSFMs and benchmarks demonstrate consistent improvements in both point and probabilistic forecasting over representative adaptation methods, with efficiency comparable to the frozen backbone.