SEDformer: 이벤트 동기화 스파이킹 트랜스포머를 이용한 불규칙 텔레메트리 시계열 예측

SEDformer: Event-Synchronous Spiking Transformers for Irregular Telemetry Time Series Forecasting

대규모 인터넷 연결 시스템(예: IoT 환경 및 온라인 플랫폼)에서 발생하는 텔레메트리 데이터는 정확한 예측이 운영상 매우 중요한 불규칙 다변량 시계열(IMTS)을 형성합니다. IMTS의 특징을 자세히 살펴보면, '희소성-이벤트 이중성(SED)'이라는 중요한 속성을 발견할 수 있습니다. 즉, 관측값이 거의 없거나 매우 드문 긴 구간이 짧고 밀집된 구간으로 나뉘며, 이 밀집된 구간에서 대부분의 의미 있는 이벤트(관측값)가 발생합니다. 그러나 기존의 그래프 기반 및 트랜스포머 기반 예측 모델은 이러한 SED 특성을 고려하지 않습니다. 균일한 격자에 데이터를 맞추는 과정에서 과도한 패딩은 희소성을 무시하고, 불필요한 계산을 수행하게 만들며, 관계 기반 재구성은 이벤트의 의미를 약화시키고 지역적인 시간 연속성을 파괴합니다. 이러한 한계점을 극복하기 위해, 우리는 IMTS의 SED 특성에 더욱 충실하고 자연스러운 모델링 방식을 제안합니다. 스파이킹 신경망은 희소한 이진 스파이크를 통해 통신하고 이벤트 기반으로 업데이트되므로, IMTS의 SED 특성과 자연스럽게 일치합니다. 따라서, 우리는 SED 특성을 강화한 스파이킹 트랜스포머인 SEDformer를 제안합니다. SEDformer는 다음과 같은 구성 요소를 포함합니다: (1) SED 기반 스파이크 인코더는 이벤트 정렬 LIF 뉴런을 사용하여 원시 관측값을 이벤트 동기화된 스파이크로 변환합니다. (2) 이벤트 보존적 시간 다운샘플링 모듈은 긴 구간을 압축하면서도 중요한 스파이크를 유지합니다. (3) SED 기반 스파이크 트랜스포머 블록을 쌓아 올려 시계열 내의 의존성을 모델링하며, 막 기반의 선형 어텐션을 통해 EA-LIF 스파이킹 특징을 활용합니다. 공개된 텔레메트리 IMTS 데이터셋에 대한 실험 결과, SEDformer는 최첨단 수준의 예측 정확도를 달성하면서도 에너지 및 메모리 사용량을 줄여, IMTS 모델링에 대한 자연스럽고 효율적인 방법을 제공합니다.

Telemetry streams from large-scale Internet-connected systems (e.g., IoT deployments and online platforms) naturally form an irregular multivariate time series (IMTS) whose accurate forecasting is operationally vital. A closer examination reveals a defining Sparsity-Event Duality (SED) property of IMTS, i.e., long stretches with sparse or no observations are punctuated by short, dense bursts where most semantic events (observations) occur. However, existing Graph- and Transformer-based forecasters ignore SED: pre-alignment to uniform grids with heavy padding violates sparsity by inflating sequences and forcing computation at non-informative steps, while relational recasting weakens event semantics by disrupting local temporal continuity. These limitations motivate a more faithful and natural modeling paradigm for IMTS that aligns with its SED property. We find that Spiking Neural Networks meet this requirement, as they communicate via sparse binary spikes and update in an event-driven manner, aligning naturally with the SED nature of IMTS. Therefore, we present SEDformer, an SED-enhanced Spiking Transformer for telemetry IMTS forecasting that couples: (1) a SED-based Spike Encoder converts raw observations into event synchronous spikes using an Event-Aligned LIF neuron, (2) an Event-Preserving Temporal Downsampling module compresses long gaps while retaining salient firings and (3) a stack of SED-based Spike Transformer blocks enable intra-series dependency modeling with a membrane-based linear attention driven by EA-LIF spiking features. Experiments on public telemetry IMTS datasets show that SEDformer attains state-of-the-art forecasting accuracy while reducing energy and memory usage, providing a natural and efficient path for modeling IMTS.