MODE: Mamba 아키텍처에 저차원 신경 ODE를 적용하여 효율적인 시계열 예측

MODE: Efficient Time Series Prediction with Mamba Enhanced by Low-Rank Neural ODEs

시계열 예측은 금융, 의료, 에너지 시스템, 환경 모델링 등 다양한 분야에서 중요한 역할을 합니다. 그러나 기존 방법은 종종 효율성, 확장성 및 정확성을 균형 있게 유지하는 데 어려움을 겪으며, 특히 장거리 의존성과 불규칙하게 샘플링된 데이터를 처리할 때 더욱 그렇습니다. 이러한 과제를 해결하기 위해, 우리는 저차원 신경 상미분 방정식(Neural ODE)과 향상된 Mamba 아키텍처를 통합한 통합 프레임워크인 MODE를 제안합니다. 우리의 프레임워크에서 입력 시퀀스는 먼저 Linear Tokenization Layer를 통해 변환된 후, 여러 Mamba Encoder 블록을 통과합니다. 각 Mamba Encoder 블록은 Causal Convolution, SiLU 활성화 함수, 그리고 저차원 신경 ODE를 사용하여 시간적 동역학을 효율적으로 포착하는 향상된 Mamba Layer를 포함합니다. 이러한 저차원 구조는 계산 오버헤드를 줄이면서도 표현력을 유지합니다. 또한, 가상 ODE 동역학에서 영감을 받은 분할 선택적 스캔 메커니즘은 중요 부분 시퀀스에 적응적으로 집중하여 확장성과 장거리 시퀀스 모델링을 향상시킵니다. 벤치마크 데이터 세트에 대한 광범위한 실험 결과, MODE는 예측 정확도와 계산 효율성 모두에서 기존 방법보다 우수한 성능을 보이는 것으로 나타났습니다. 전반적으로, 우리의 주요 기여는 다음과 같습니다: (1) 장기 시계열 모델링을 위한 통합적이고 효율적인 아키텍처, (2) 향상된 시간 표현을 위한 Mamba의 선택적 스캔과 저차원 신경 ODE의 통합, 그리고 (3) 저차원 근사와 동적 선택적 스캔을 통해 구현된 효율성과 확장성 향상.

Time series prediction plays a pivotal role across diverse domains such as finance, healthcare, energy systems, and environmental modeling. However, existing approaches often struggle to balance efficiency, scalability, and accuracy, particularly when handling long-range dependencies and irregularly sampled data. To address these challenges, we propose MODE, a unified framework that integrates Low-Rank Neural Ordinary Differential Equations (Neural ODEs) with an Enhanced Mamba architecture. As illustrated in our framework, the input sequence is first transformed by a Linear Tokenization Layer and then processed through multiple Mamba Encoder blocks, each equipped with an Enhanced Mamba Layer that employs Causal Convolution, SiLU activation, and a Low-Rank Neural ODE enhancement to efficiently capture temporal dynamics. This low-rank formulation reduces computational overhead while maintaining expressive power. Furthermore, a segmented selective scanning mechanism, inspired by pseudo-ODE dynamics, adaptively focuses on salient subsequences to improve scalability and long-range sequence modeling. Extensive experiments on benchmark datasets demonstrate that MODE surpasses existing baselines in both predictive accuracy and computational efficiency. Overall, our contributions include: (1) a unified and efficient architecture for long-term time series modeling, (2) integration of Mamba's selective scanning with low-rank Neural ODEs for enhanced temporal representation, and (3) substantial improvements in efficiency and scalability enabled by low-rank approximation and dynamic selective scanning.