DeMa: 효율적인 다변량 시계열 분석을 위한 지연 인지형 듀얼 패스 Mamba

DeMa: Dual-Path Delay-Aware Mamba for Efficient Multivariate Time Series Analysis

정확하고 효율적인 다변량 시계열(MTS) 분석은 다양한 지능형 애플리케이션에 점점 더 중요해지고 있습니다. 이 분야에서, 트랜스포머는 쌍별 의존성을 강력하게 포착하는 능력 덕분에 주류 아키텍처로 자리 잡았습니다. 그러나 트랜스포머 기반 모델은 2차적인 계산 복잡성과 높은 메모리 오버헤드를 가지고 있어, 장기적이고 대규모 MTS 모델링에서의 확장성과 실제 적용성을 제한합니다. 최근에는 높은 표현력을 가진 선형 시간 복잡도의 대안으로 Mamba가 주목받고 있습니다. 그러나 Mamba를 그대로 다변량 시계열 분석에 적용하는 것은 세 가지 주요 제한 사항으로 인해 최적이 아닙니다. (i) 명시적인 변수 간 모델링 부족, (ii) 얽힌 시계열 내 시간적 동역학과 변수 간 상호 작용을 분리하기 어려움, (iii) 잠재적인 시간 지연 상호 작용 효과에 대한 불충분한 모델링입니다. 이러한 문제점들은 다양한 MTS 작업에서의 효과성을 저해합니다. 이러한 문제점들을 해결하기 위해, 우리는 지연 인지형 듀얼 패스 Mamba 아키텍처인 DeMa를 제안합니다. DeMa는 Mamba의 선형 복잡성 장점을 유지하면서 다변량 시계열 환경에 대한 적합성을 크게 향상시킵니다. 구체적으로, DeMa는 세 가지 주요 혁신을 도입합니다. (i) MTS를 시계열 내 시간적 동역학과 변수 간 상호 작용으로 분해합니다. (ii) 각 개별 시계열 내의 장거리 동역학을 포착하기 위해 Mamba-SSD 모듈을 포함하는 시간 경로를 개발하여, 시계열 독립적인 병렬 계산을 가능하게 합니다. (iii) 지연 인지형 선형 어텐션을 통합하여 변수 간 의존성을 모델링하는 Mamba-DALA 모듈을 포함하는 변수 경로를 설계합니다. 5가지 대표적인 작업(장단기 예측, 데이터 보간, 이상 탐지 및 시계열 분류)에 대한 광범위한 실험 결과는 DeMa가 최첨단 성능을 달성하는 동시에 놀라운 계산 효율성을 제공한다는 것을 보여줍니다.

Accurate and efficient multivariate time series (MTS) analysis is increasingly critical for a wide range of intelligent applications. Within this realm, Transformers have emerged as the predominant architecture due to their strong ability to capture pairwise dependencies. However, Transformer-based models suffer from quadratic computational complexity and high memory overhead, limiting their scalability and practical deployment in long-term and large-scale MTS modeling. Recently, Mamba has emerged as a promising linear-time alternative with high expressiveness. Nevertheless, directly applying vanilla Mamba to MTS remains suboptimal due to three key limitations: (i) the lack of explicit cross-variate modeling, (ii) difficulty in disentangling the entangled intra-series temporal dynamics and inter-series interactions, and (iii) insufficient modeling of latent time-lag interaction effects. These issues constrain its effectiveness across diverse MTS tasks. To address these challenges, we propose DeMa, a dual-path delay-aware Mamba backbone. DeMa preserves Mamba's linear-complexity advantage while substantially improving its suitability for MTS settings. Specifically, DeMa introduces three key innovations: (i) it decomposes the MTS into intra-series temporal dynamics and inter-series interactions; (ii) it develops a temporal path with a Mamba-SSD module to capture long-range dynamics within each individual series, enabling series-independent, parallel computation; and (iii) it designs a variate path with a Mamba-DALA module that integrates delay-aware linear attention to model cross-variate dependencies. Extensive experiments on five representative tasks, long- and short-term forecasting, data imputation, anomaly detection, and series classification, demonstrate that DeMa achieves state-of-the-art performance while delivering remarkable computational efficiency.