인코더-프리 심전도-언어 모델

Encoder-Free ECG-Language Models

심전도-언어 모델(ELM)은 다중 모드 대규모 언어 모델(MLLM)의 최근 발전 사항을 자동 심전도 해석에 적용합니다. 그러나 대부분의 ELM은 비전-언어 모델(VLM) 설계를 따르며, 사전 학습된 심전도 인코더에 의존하여 구조적 및 학습 복잡성을 증가시킵니다. 인코더-프리 VLM에서 영감을 받아, 우리는 LLM과 함께 공동으로 학습되는 단일 투영 레이어로 심전도 인코더를 대체하는 인코더-프리 ELM인 ELF를 소개합니다. 5개의 데이터 세트에서 ELF는 훨씬 더 복잡한 인코더와 학습 파이프라인을 사용하는 최첨단 ELM과 동등하거나 그 이상의 성능을 보입니다. 또한, ELF에 구조적 편향을 추가하면 성능이 향상되는지 테스트한 결과, 단일 선형 투영이 여전히 경쟁력을 유지하는 것으로 나타났습니다. 마지막으로, ELF, 그리고 잠재적으로 다른 ELM은 현재 평가 방식 및 ELM 설계의 한계를 보여주며, 벤치마크 아티팩트 및 언어적 사전 지식에 더 의존하는 경향이 있음을 보여줍니다. 모든 데이터 및 코드는 https://github.com/willxxy/ECG-Bench 에서 확인할 수 있습니다.

ECG-Language Models (ELMs) extend recent progress in Multimodal Large Language Models (MLLMs) to automated ECG interpretation. However, most ELMs follow Vision-Language Model (VLM) designs and depend on pretrained ECG encoders, adding architectural and training complexity. Inspired by encoder-free VLMs, we introduce ELF, an encoder-free ELM that replaces the ECG encoder with a single projection layer trained jointly with the LLM. Across five datasets, ELF matches or exceeds state-of-the-art ELMs that use far more complex encoders and training pipelines. We also test whether adding architectural biases to ELF improves performance and find that the single linear projection remains competitive. Finally, we show that ELF, and potentially other ELMs, often rely more on benchmark artifacts and language priors than ECG-derived information, highlighting limitations in current evaluation practices and ELM design. All data and code is available at https://github.com/willxxy/ECG-Bench.