Align-RAG: 정렬만으로 충분하다 - TSFM의 문맥 학습을 위한 방법

Align-RAG: Alignment Is All You Need for TSFM In-Context Learning

검색 증강 예측(Retrieval-augmented forecasting)은 미세 조정 없이 기존 시계열 기반 모델(TSFM)을 새로운 도메인에 적용할 수 있도록 하지만, 최근 방법들은 일반적으로 훈련된 융합 모듈(학습된 어댑터)에 의존합니다. 이러한 모듈은 검색된 예시를 핵심 모델의 예측에 통합하며, 이는 기존 모델이 자체적으로 검색된 문맥 정보를 동적으로 활용할 수 없다는 가정에 기반합니다. 본 논문에서는 이러한 가정이 불필요함을 보여줍니다. Align-RAG이라는 훈련이 필요 없는 방법을 제안하는데, 이 방법은 핵심 모델의 문맥에 입력되기 전에 검색된 과거-미래 시퀀스 쌍에 대해 간단한 크기 조정(amplitude rescaling)과 정수 지연 위상 이동(integer-lag phase shift)을 적용합니다. Align-RAG은 학습 가능한 파라미터를 사용하지 않음에도 불구하고, 표준 벤치마크의 일곱 데이터 세트 모두에서 기존의 훈련된 검색 어댑터보다 우수한 성능(평균 -3.75% MSE)을 보이며, 이전에는 학습된 융합 덕분이라고 여겨졌던 성능 향상이 훈련 없이도 달성될 수 있음을 보여줍니다. 또한, Align-RAG은 다양한 구조를 가진 네 가지 추가적인 기존 TSFM에서 백본별로 별도의 조정 없이 2.5%에서 13.7% 사이의 제로샷 MSE 성능을 향상시킵니다. 정렬이 어떻게 효과적인지 조사하기 위해, 정렬된 예시 하에서의 기존 모델 예측 변화를 동일한 쌍에 대한 간단한 예측 변화와 비교했습니다. 분석 결과, 정렬된 예시는 동일한 쌍에 대한 간단한 예측 변화를 따르며, 미래 값 평균화라는 설명은 미래 값을 임의로 섞는 실험을 통해 배제되었습니다. 이러한 결과를 종합적으로 고려할 때, 기존 TSFM은 이미 검색 정보를 동적으로 문맥 내에서 활용할 수 있으며, 따라서 검색 증강 예측에서는 융합 모듈을 학습하기 전에 간단한 정렬 방법을 기본으로 사용하는 것이 적절합니다. 코드: https://github.com/masadi-99/align-rag

Retrieval-augmented forecasting promises to adapt frozen Time Series Foundation Models (TSFMs) to new domains without fine-tuning, but recent methods typically rely on learned fusion modules, i.e., trained adapters that merge retrieved examples into the backbone's forecast, based on the assumption that frozen backbones cannot dynamically incorporate retrieved context on their own. We show this assumption is unnecessary. We introduce Align-RAG, a training-free method that applies a closed-form per-pair amplitude rescaling and integer-lag phase shift to retrieved past-future windows before they enter a frozen backbone's context. With no learned parameters, Align-RAG outperforms the state-of-the-art trained retrieval adapter on a frozen Chronos-Bolt on all seven datasets of the standard benchmark (avg -3.75% MSE), showing that the gains previously attributed to learned fusion are recoverable without any training. Align-RAG further improves zero-shot MSE on four additional frozen TSFMs with various architectures by 2.5% to 13.7% per backbone with no per-backbone tuning. To probe why alignment helps, we compare the frozen backbone's prediction shift under aligned demonstrations to the closed-form ridge prediction shift on the same pairs. We find that aligned demonstrations induce prediction shifts that track a closed-form ridge predictor on the same pairs, with a future-shuffle control ruling out a futures-averaging account. Together, these results indicate that frozen TSFMs already support dynamic in-context use of retrievals, and that closed-form alignment should be the default baseline for retrieval-augmented forecasting before any fusion module is trained. Code available at: https://github.com/masadi-99/align-rag