SL-S4Wave: 구조화된 상태 공간 모델을 이용한 생리 파형의 자기 지도 학습

SL-S4Wave: Self-Supervised Learning of Physiological Waveforms with Structured State Space Models

심전도(ECG)와 같이 높은 샘플링 속도, 다채널 신호 복잡성, 내재적인 노이즈 및 제한된 레이블 데이터로 인해 장기간 의학 시계열 데이터를 모델링하는 것은 상당한 어려움을 야기합니다. 최근에는 다양한 인코더 아키텍처(예: 컨볼루션 신경망)를 기반으로 하는 자기 지도 학습(SSL) 방법들이 제안되어 레이블이 없는 데이터로부터 표현을 학습하도록 하지만, 이러한 방법들은 종종 장거리 의존성과 노이즈에 강인한 특징을 포착하는 데 한계를 보입니다. 구조화된 상태 공간 모델(S4)은 장기간 시퀀스 모델링에 탁월하지만, 기존의 S4 아키텍처는 다채널 생리 파형의 고유한 특성을 제대로 반영하지 못합니다. 본 연구에서는 구조화된 상태 공간 모델을 기반으로 구축된 맞춤형 인코더와 대조 학습을 결합한 자기 지도 학습 프레임워크인 SL-S4Wave를 제안합니다. 제안하는 인코더는 다층 글로벌 컨볼루션을 사용하여 다양한 크기의 부분 커널을 적용함으로써, 노이즈가 많은 고해상도 다채널 파형에서 미세한 지역 패턴과 장거리 시간적 의존성을 모두 포착할 수 있도록 설계되었습니다. 실제 데이터 세트에 대한 광범위한 실험 결과, SL-S4Wave는 (1) 어려운 부정맥 감지 작업에서 최첨단 지도 및 자기 지도 기반 모델보다 일관되게 우수한 성능을 보이며, (2) 훨씬 적은 양의 레이블 데이터를 사용하여 높은 성능을 달성하여 뛰어난 레이블 효율성을 보여주며, (3) 긴 파형 구간에서도 견고한 성능을 유지하여 대부분의 기존 방법이 효율적으로 모델링하지 못하는 복잡한 시간적 동역학을 모델링할 수 있는 능력을 입증하며, (4) 보지 못한 부정맥 유형으로 효과적으로 일반화되어 강력한 교차 도메인 일반화 능력을 보여줍니다. 또한 SL-S4Wave를 다양한 뇌파(EEG) 작업에 적용하여 기존의 강력한 모델보다 우수한 성능을 달성했으며, 이는 본 연구 방법론이 심장 파형 외에도 광범위하게 적용될 수 있음을 시사합니다.

Modeling long-sequence medical time series data, such as electrocardiograms (ECG), poses significant challenges due to high sampling rates, multichannel signal complexity, inherent noise, and limited labeled data. While recent self-supervised learning (SSL) methods, based on various encoder architectures such as convolutional neural networks, have been proposed to learn representations from unlabeled data, they often fall short in capturing long-range dependencies and noise-invariant features. Structured state space models (S4) excel at long-sequence modeling, but existing S4 architectures fail to capture the unique characteristics of multichannel physiological waveforms. In this work, we propose SL-S4Wave, a self-supervised learning framework that combines contrastive learning with a tailored encoder built on structured state space models. The encoder incorporates multi-layer global convolution using multiscale subkernels, enabling the capture of both fine-grained local patterns and long-range temporal dependencies in noisy, high-resolution multichannel waveforms. Extensive experiments on real-world datasets demonstrate that SL-S4Wave (1) consistently outperforms state-of-the-art supervised and self-supervised baselines in a challenging arrhythmia detection task, (2) achieves high performance with significantly fewer labeled examples, showcasing strong label efficiency, and (3) maintains robust performance on long waveform segments, highlighting its capacity to model complex temporal dynamics in long sequences that most existing approaches fail to efficiently model, and (4) transfers effectively to unseen arrhythmia types, underscoring its robust cross-domain generalization. We additionally evaluate SL-S4Wave on multiple EEG tasks, achieving superior performance over strong baselines, demonstrating generalizability of our approach beyond cardiac waveforms.