LSTrans: 경량화 및 자동화된 심전도 분류를 위한 효율적인 지식 전달

LSTrans: Efficient Knowledge Transfer for Lightweight and Automated ECG Classification

제한된 자원을 가진 웨어러블 장치에서 자동 심전도 분류를 위한 딥 러닝 모델을 사용하는 것은 높은 계산 비용으로 인해 여전히 어려운 과제입니다. 이를 해결하기 위해, 우리는 효율적이고 민감한 심전도 분석을 위해 설계된 경량 하이브리드 모델인 LSTrans를 제안합니다. LSTrans는 거시적인 리듬 추세와 미세한 형태학적 변화를 모두 포착하기 위한 특수 1D 컨볼루션 백본과 교번 레이어 아키텍처를 도입합니다. 이 백본은 Transformer 인코더와 연결되어 장거리 시간 종속성을 모델링하며, 중요한 레이어에 Low-Rank Adaptation을 적용하여 모델을 압축하고 학습 가능한 매개변수 공간을 줄입니다. 또한, 우리는 고용량의 교사 모델로부터 진단 전문 지식을 학생 모델로 전달하기 위해 동질적 및 이질적인 지식 증류를 사용합니다. 여러 벤치마크 데이터 세트에 대한 실험 결과는 LSTrans가 진단 민감도와 자원 효율성 간에 경쟁력 있는 균형을 달성하며, 다운스트림 적응 과정에서 피크 메모리 공간과 학습 시간을 크게 줄인다는 것을 보여줍니다. 소스 코드는 https://github.com/zyee00128/LSTrans4BIBM 에서 확인할 수 있습니다.

Deploying deep learning models for automated electrocardiogram classification on resource-constrained wearable devices remains challenging due to high computational costs. To address this, we propose LSTrans, a lightweight hybrid model designed for efficient and sensitive ECG analysis. LSTrans introduces a specialized 1D convolutional backbone with an interleaved layer architecture to capture both macroscopic rhythmic trends and microscopic morphological variations. This backbone is cascaded with a Transformer encoder to model long-range temporal dependencies, incorporating Low-Rank Adaptation across critical layers to compress the model and reduce the trainable parameter space. We further employ homogeneous and heterogeneous knowledge distillation to transfer diagnostic expertise from high-capacity teacher models to the student. Experimental results on multiple benchmark datasets demonstrate that LSTrans achieves a competitive balance between diagnostic sensitivity and resource efficiency, substantially reducing peak memory footprints and training latency during downstream adaptation. The source code is available for review at https://github.com/zyee00128/LSTrans4BIBM.