시계열 데이터에 대한 온라인 지속 학습: 자연 기울기 기반 접근 방식

Online Continual Learning for Time Series: a Natural Score-driven Approach

온라인 지속 학습(OCL) 방법은 과거 지식을 잊지 않고 변화하는 환경에 적응합니다. 마찬가지로, 온라인 시계열 예측(OTSF)은 데이터가 시간에 따라 변화하고, 빠른 적응과 장기 기억이 모두 중요한 실제 문제입니다. 실제로, 시계열 데이터의 변화와 모드 전환을 고려하는 예측 모델이 광범위하게 연구되어 왔으며, 이러한 맥락에서 OCL의 활용은 강력한 정당성을 갖습니다. 본 논문은 최근 OCL을 OTSF에 적용한 연구를 바탕으로, 시계열 방법과 OCL 간의 이론적, 실질적 연관성을 강화하는 것을 목표로 합니다. 먼저, 신경망 최적화를 파라미터 필터링 문제로 재구성하고, 자연 기울기 하강법이 정보 이론적으로 최적의 방법임을 보여주는 스코어 기반 방법임을 증명합니다. 또한, 자연 기울기와 함께 Student's t likelihood를 사용하면 경계가 있는 업데이트가 가능하여 이상치에 대한 강건성을 향상시킬 수 있음을 보입니다. 마지막으로, 저희는 강건한 최적화 알고리즘과 리플레이 버퍼, 그리고 급격한 모드 변화에서도 빠른 적응을 가능하게 하는 동적 스케일링 휴리스틱을 결합한 Natural Score-driven Replay (NatSR)를 제안합니다. 실험 결과는 NatSR이 더욱 복잡한 최첨단 방법보다 더 뛰어난 예측 성능을 달성함을 보여줍니다.

Online continual learning (OCL) methods adapt to changing environments without forgetting past knowledge. Similarly, online time series forecasting (OTSF) is a real-world problem where data evolve in time and success depends on both rapid adaptation and long-term memory. Indeed, time-varying and regime-switching forecasting models have been extensively studied, offering a strong justification for the use of OCL in these settings. Building on recent work that applies OCL to OTSF, this paper aims to strengthen the theoretical and practical connections between time series methods and OCL. First, we reframe neural network optimization as a parameter filtering problem, showing that natural gradient descent is a score-driven method and proving its information-theoretic optimality. Then, we show that using a Student's t likelihood in addition to natural gradient induces a bounded update, which improves robustness to outliers. Finally, we introduce Natural Score-driven Replay (NatSR), which combines our robust optimizer with a replay buffer and a dynamic scale heuristic that improves fast adaptation at regime drifts. Empirical results demonstrate that NatSR achieves stronger forecasting performance than more complex state-of-the-art methods.