LuMamba: 잠재적 통합 맘바(Latent Unified Mamba) - 전극 구성에 독립적이고 효율적인 뇌파(EEG) 모델링

LuMamba: Latent Unified Mamba for Electrode Topology-Invariant and Efficient EEG Modeling

뇌파(EEG)는 임상 및 신경 기술 분야에서 뇌 활동을 비침습적으로 모니터링하는 데 사용되지만, 뇌파 모델 구축은 extit{다양한 전극 구성}과 extit{계산 확장성} 문제로 인해 어렵습니다. 트랜스포머 아키텍처는 2차 복잡도를 가지기 때문입니다. 이러한 문제를 해결하기 위해, 우리는 extbf{LuMamba} ( extbf{L}atent extbf{U}nified extbf{Mamba}), 즉 잠재적 통합 맘바를 제안합니다. 이는 전극 구성에 독립적인 인코딩과 선형 복잡도의 상태 공간 모델을 결합한 자기 지도 학습 프레임워크입니다. LuMamba는 LUNA의 학습된 쿼리 기반 크로스 어텐션 메커니즘을 사용하여 채널을 통합하고, FEMBA의 양방향 맘바 블록을 사용하여 효율적인 시간 모델링을 수행합니다 본 연구에서는 생체 신호 학습을 위한 잠재-유클리드 합동 임베딩 예측 아키텍처(LeJEPA)에 대한 최초의 체계적인 분석을 제시합니다. LuMamba는 TUEG 코퍼스에서 수집된 21,000시간 이상의 비표시된 뇌파 데이터를 사용하여 사전 훈련되었으며, 16개에서 26개 채널로 구성된 다양한 전극 구성을 가진 5가지 하위 작업(이상 감지, 아티팩트 인식, 정신 상태 분류)에서 성능을 평가했습니다. 사전 훈련 목표에서 마스킹된 재구성만으로는 구조화되지만 일반화 성능이 낮은 표현을 얻는 반면, LeJEPA만으로는 퍼져있는 임베딩을 생성합니다. 두 가지 목표를 결합하면 가장 강력한 성능을 달성합니다. 460만 개의 파라미터만 사용하는 LuMamba는 TUAB 데이터셋에서 80.99%의 균형 잡힌 정확도를 달성하고, 알츠하이머 질환 감지에서 최고 수준의 성능(0.97 AUPR)을 보입니다. 또한, 동급 성능의 최첨단 모델보다 extbf{377배 더 적은 FLOPS}를 사용하며, 일반적인 GPU 메모리 제한에 도달하기 전에 extbf{12배 더 긴 시퀀스}까지 확장할 수 있습니다. 코드: https://github.com/pulp-bio/biofoundation

Electroencephalography (EEG) enables non-invasive monitoring of brain activity across clinical and neurotechnology applications, yet building foundation models for EEG remains challenging due to \emph{differing electrode topologies} and \emph{computational scalability}, as Transformer architectures incur quadratic sequence complexity. As a joint solution, we propose \textbf{LuMamba} (\textbf{L}atent \textbf{U}nified \textbf{Mamba}), a self-supervised framework combining topology-invariant encodings with linear-complexity state-space modeling, using LUNA's learned-query cross-attention mechanism for channel unification~\cite{luna}, and FEMBA's bidirectional Mamba blocks for efficient temporal modeling~\cite{femba}. Within this architecture, we provide the first systematic investigation of the Latent-Euclidean Joint-Embedding Predictive Architecture (LeJEPA) for biosignal learning. Pre-trained on over 21,000 hours of unlabeled EEG from the TUEG corpus, LuMamba is evaluated on five downstream tasks spanning abnormality detection, artifact recognition, and mental condition classification across electrode configurations ranging from 16 to 26 channels. In the pre-training objective, masked reconstruction alone yields structured but less generalizable representations, while LeJEPA alone produces diffuse embeddings; combining both objectives achieves the most robust performance. With only 4.6M parameters, LuMamba attains 80.99\% balanced accuracy on TUAB and achieves state-of-art performance on Alzheimer's detection (0.97 AUPR), while requiring \textbf{377$\times$ fewer FLOPS} than state-of-art models at equivalent sequence lengths and scaling to \textbf{12$\times$ longer sequences} before reaching typical GPU memory limits. Code is available at https://github.com/pulp-bio/biofoundation