마스크 기반 잠재적 어텐션을 활용한 심장 시계열 데이터 기반 모델

Foundation Model for Cardiac Time Series via Masked Latent Attention

심전도(ECG)는 가장 널리 사용되는 임상 신호 중 하나이며, 심혈관 진단에서 중요한 역할을 합니다. 최근의 기반 모델(FM)은 ECG 데이터의 전이 가능한 표현을 학습하는 데 유망한 결과를 보여주었지만, 대부분의 기존 사전 학습 방법은 리드(lead)를 독립적인 채널로 취급하며, 리드 간의 강력한 구조적 중복성을 명시적으로 활용하지 못합니다. 본 연구에서는 잠재적 어텐션 마스크 자동 인코더(LAMAE) FM을 제안합니다. LAMAE FM은 자기 지도 학습을 통해 리드 간의 연결 메커니즘을 학습함으로써 이러한 구조를 직접적으로 활용합니다. 제안하는 방법은 잠재적 어텐션을 통해 리드 간의 고차원 상호 작용을 모델링하여, 리드별 표현의 순열 불변적 집계 및 적응적 가중치를 가능하게 합니다. Mimic-IV-ECG 데이터베이스에 대한 실험 결과, 리드 간 연결을 활용하는 것이 효과적인 구조적 지도 학습 방법임을 보여주며, 표현 품질과 전이성을 향상시킵니다. 제안하는 방법은 ICD-10 코드 예측에서 뛰어난 성능을 보이며, 독립적인 리드 마스크 모델링 및 정렬 기반의 기존 방법들을 능가합니다.

Electrocardiograms (ECGs) are among the most widely available clinical signals and play a central role in cardiovascular diagnosis. While recent foundation models (FMs) have shown promise for learning transferable ECG representations, most existing pretraining approaches treat leads as independent channels and fail to explicitly leverage their strong structural redundancy. We introduce the latent attention masked autoencoder (LAMAE) FM that directly exploits this structure by learning cross-lead connection mechanisms during self-supervised pretraining. Our approach models higher-order interactions across leads through latent attention, enabling permutation-invariant aggregation and adaptive weighting of lead-specific representations. We provide empirical evidence on the Mimic-IV-ECG database that leveraging the cross-lead connection constitutes an effective form of structural supervision, improving representation quality and transferability. Our method shows strong performance in predicting ICD-10 codes, outperforming independent-lead masked modeling and alignment-based baselines.