STEAM: 계층적 사전 학습을 통한 시공간 정렬 전문가 모델 (Mixture-of-Experts)을 활용한 EEG 해독

STEAM:ASpatio-TEmporal Alignment Mixture-of-Experts Model with Hierarchical Pre-training for EEG Decoding

뇌-컴퓨터 인터페이스(BCI)는 운동 재활, 질병 진단 및 기타 신경 공학 분야에서 널리 사용됩니다. 그러나 기존의 신경 신호 해독 알고리즘은 종종 일반화 성능이 제한적이고 적응 비용이 높다는 단점이 있습니다. 이러한 문제점을 해결하기 위해 최근 BCI 기초 모델에 대한 관심이 높아지고 있습니다. 기존 연구들은 여전히 일반적인 적용 가능성, 정확한 해독 및 효율적인 하위 작업 적응을 동시에 달성하는 데 어려움을 겪고 있습니다. 본 논문에서는 STEAM이라는 계층적 전이 학습 프레임워크를 제시합니다. 이 프레임워크는 EEG 기초 모델에서 범용 표현 학습과 특정 패러다임에 특화된 전문성을 조화시킵니다. 제안하는 프레임워크는 공유 소프트 전문가 혼합(SSMoE) 모듈을 포함하는 이중 분기 시공간 인코더로 구현됩니다. SSMoE 모듈은 공간 및 시간 분기를 정렬하여 상호 보완적인 표현이 작은 수의 소프트 슬롯을 통해 정보를 교환할 수 있도록 합니다. 7개의 하위 작업 데이터 세트와 14가지 평가 환경에서 STEAM은 경쟁력 있는 추론 비용(FLOPs)으로 비교 대상 방법 중 가장 높은 평균 순위를 달성했습니다. Stage-I 일반 초기화를 기반으로 하는 계층적 사전 학습 전략은 모델을 스크래치부터 다시 학습하지 않고도 특정 패러다임에 더욱 특화시켜, 패러다임별 해독 정확도를 지속적으로 향상시킵니다.

Brain-computer interfaces (BCIs) have been widely used in motor rehabilitation, disease diagnosis, and other neural engineering scenarios. However, conventional neural signal decoding algorithms often suffer from limited generalizability and high adaptation costs, motivating recent interest in BCI foundation models. Existing approaches still struggle to jointly achieve general transferability, accurate decoding, and efficient downstream adaptation. We present STEAM, a hierarchical transfer framework that reconciles general-purpose representation learning with paradigm-specific specialization in EEG foundation models. The framework is instantiated as a dual-branch spatio-temporal encoder in which a shared soft mixture-of-experts (SSMoE) module aligns the spatial and temporal branches, allowing complementary representations to exchange information through a compact set of soft slots. Across seven downstream datasets and fourteen evaluation settings, STEAM attains the best average rank among the compared methods at a competitive inference cost measured in FLOPs. Building upon the Stage-I general initialization, the hierarchical pre-training strategy further specializes the model to a target paradigm without retraining from scratch, yielding consistent gains in paradigm-specific decoding accuracy.