분산형 어텐션은 중앙 집중형 신호에 효과적이지 않다: 의료 시계열 데이터를 위한 트랜스포머 재고

Decentralized Attention Fails Centralized Signals: Rethinking Transformers for Medical Time Series

뇌 및 심장 질환 진단과 같은 의료 분야 응용에서, 뇌파(EEG) 및 심전도(ECG)와 같은 의료 시계열(MedTS) 데이터의 정확한 분석은 매우 중요하다. MedTS 데이터는 일반적으로 개별 채널 내의 시간적 의존성과 여러 채널 간의 채널 의존성이라는 두 가지 중요한 패턴을 보인다. 최근 딥러닝의 발전으로 트랜스포머 기반 모델은 시간적 의존성을 효과적으로 포착하는 데 사용되었지만, 채널 의존성 모델링에는 어려움을 겪는 경우가 많다. 이러한 한계는 구조적 불일치에서 비롯된다. MedTS 신호는 본질적으로 중앙 집중적이지만, 트랜스포머의 어텐션 메커니즘은 분산형이기 때문에, 전역 동기화 및 통일된 파형 패턴을 포착하는 데 덜 효과적이다. 이러한 불일치를 해결하기 위해, 분산형 어텐션을 대체하는 중앙 집중형 MLP 기반 모듈인 CoTAR(Core Token Aggregation-Redistribution)을 제안한다. CoTAR은 표준 어텐션에서 모든 토큰이 직접 상호 작용하는 것과는 달리, 전역 코어 토큰을 도입하여 토큰 간 상호 작용을 촉진하고, 중앙 집중형 집계 및 재분배 전략을 적용한다. 이러한 설계는 MedTS 신호의 중앙 집중적인 특성과 더 잘 부합할 뿐만 아니라, 계산 복잡성을 2차원에서 선형으로 줄인다. 5개의 벤치마크에 대한 실험 결과, 제안하는 방법이 효과성과 효율성 모두에서 우수한 성능을 보이며, APAVA 데이터셋에서 최대 12.13%의 성능 향상을 달성했으며, 이전 최고 성능 모델에 비해 메모리 사용량은 33%, 추론 시간은 20%로 줄었다. 코드 및 모든 학습 스크립트는 https://github.com/Levi-Ackman/TeCh 에서 확인할 수 있다.

Accurate analysis of medical time series (MedTS) data, such as electroencephalography (EEG) and electrocardiography (ECG), plays a pivotal role in healthcare applications, including the diagnosis of brain and heart diseases. MedTS data typically exhibit two critical patterns: temporal dependencies within individual channels and channel dependencies across multiple channels. While recent advances in deep learning have leveraged Transformer-based models to effectively capture temporal dependencies, they often struggle with modeling channel dependencies. This limitation stems from a structural mismatch: MedTS signals are inherently centralized, whereas the Transformer's attention mechanism is decentralized, making it less effective at capturing global synchronization and unified waveform patterns. To address this mismatch, we propose CoTAR (Core Token Aggregation-Redistribution), a centralized MLP-based module designed to replace decentralized attention. Instead of allowing all tokens to interact directly, as in standard attention, CoTAR introduces a global core token that serves as a proxy to facilitate inter-token interactions, thereby enforcing a centralized aggregation and redistribution strategy. This design not only better aligns with the centralized nature of MedTS signals but also reduces computational complexity from quadratic to linear. Experiments on five benchmarks validate the superiority of our method in both effectiveness and efficiency, achieving up to a 12.13% improvement on the APAVA dataset, while using only 33% of the memory and 20% of the inference time compared to the previous state of the art. Code and all training scripts are available at https://github.com/Levi-Ackman/TeCh.