변화하는 환경에서의 문맥 학습

In-Context Learning Under Regime Change

비정상 시퀀스는 제어, 예측 및 의사 결정 분야에서 자연스럽게 발생합니다. 데이터 생성 과정은 알려지지 않은 시점에 변화하며, 모델은 이러한 변화를 감지하고, 더 이상 유효하지 않은 정보를 버리거나 가중치를 낮추고, 새로운 동역학에 즉시 적응해야 합니다. 트랜스포머 기반의 기초 모델은 점점 더 시계열 예측, 테이블 데이터 예측 및 연속 제어에서 문맥 학습에 의존하고 있습니다. 이러한 모델이 비정상적인 환경에 배포될 때, 모델이 변화 지점을 감지하고 이에 적응하는 능력에 대한 이해가 중요합니다. 본 연구에서는 이를 문맥 기반의 변화 지점 탐지 문제로 공식화하고, 이 문제를 해결하는 트랜스포머 모델의 존재를 엄밀하게 증명합니다. 우리의 연구 결과는 모델의 복잡성, 즉 레이어 및 파라미터 수,가 변화 지점 위치에 대한 정보의 수준에 따라 달라지며, 정보가 전혀 없는 경우부터 정확한 시점을 아는 경우까지의 범위를 포함합니다. 우리는 합성 선형 회귀 및 선형 동적 시스템에 대한 실험을 통해, 학습된 트랜스포머가 정보 수준에 관계없이 최적의 기준 성능과 일치한다는 것을 확인했습니다. 또한, 변화 지점 지식을 인코딩하고 통합하면, 재학습 없이 전염병 예측 및 연방 공개 시장 위원회(FOMC) 발표 주변의 금융 변동성 예측과 같은 실제 환경에서 사전 학습된 기초 모델의 성능을 향상시킬 수 있으며, 이는 실제 환경의 변화에 대한 실용적인 적용 가능성을 보여줍니다.

Non-stationary sequences arise naturally in control, forecasting, and decision-making. The data-generating process shifts at unknown times, and models must detect the change, discard or downweight obsolete evidence, and adapt to new dynamics on the fly. Transformer-based foundation models increasingly rely on in-context learning for time series forecasting, tabular prediction, and continuous control. As these models are deployed in non-stationary environments, understanding their ability to detect and adapt to regime shifts is important. We formalize this as an in-context change-point detection problem and formally establish the existence of transformer models that solve this problem. Our construction demonstrates that model complexity, in layers and parameters, depends on the level of information available about the change-point location, from no knowledge to knowing exact timing. We validate our results with experiments on synthetic linear regression and linear dynamical systems, where trained transformers match the performance of optimal baselines across information levels. We also show that encoding and incorporating changepoint knowledge indeed improves the real-world performance of a pretrained foundation models on infectious disease forecasting and on financial volatility forecasting around Federal Open Market Committee (FOMC) announcements without retraining, demonstrating practical applicability to real-world regime changes.