BrainStack: EEG 기반 언어 디코딩을 위한 기능적 유도 전문가 라우팅이 적용된 Neuro-MoE

BrainStack: Neuro-MoE with Functionally Guided Expert Routing for EEG-Based Language Decoding

뇌의 분산적이고 비선형적인 구조로 인해 뇌파(EEG)에서 언어 정보를 디코딩하는 것은 여전히 어려운 과제이다. 본 논문에서는 해부학적으로 분할된 전문가 네트워크를 통해 뇌의 모듈식 기능 구조를 모델링하는 기능적 유도 신경망 전문가 혼합(Neuro-MoE) 프레임워크인 BrainStack을 제안한다. 각 기능 영역은 국소적인 신경 역학을 학습하는 특화된 전문가에 의해 표현되며, 트랜스포머(Transformer) 기반의 글로벌 전문가는 영역 간의 의존성을 포착한다. 학습 가능한 라우팅 게이트는 이러한 이질적인 전문가들을 적응적으로 통합하여, 문맥에 따른 전문가 조정 및 선택적 융합을 가능하게 한다. 계층 전반에 걸친 일관된 표현을 촉진하기 위해, 글로벌 전문가가 지역 전문가들에게 하향식 정규화를 제공하는 교차 영역 증류(cross-regional distillation) 기법을 도입한다. 또한, 12명의 피험자가 24개의 단어를 무성 발화(silent speech)로 수행하여 기록한 120시간 이상의 EEG 데이터로 구성된, 동종 최대 규모의 벤치마크인 SilentSpeech-EEG (SS-EEG)를 공개한다. 실험 결과, BrainStack은 최첨단 모델들을 지속적으로 능가하며, 피험자 전반에 걸쳐 우수한 정확도와 일반화 성능을 달성함을 입증하였다. 우리의 결과는 BrainStack을 신경과학적 사전 지식과 적응형 전문가 라우팅을 통합한 기능적 모듈형, 신경 영감(neuro-inspired) MoE 패러다임으로 확립하며, 확장 가능하고 해석 가능한 뇌-언어 디코딩을 위한 길을 제시한다.

Decoding linguistic information from electroencephalography (EEG) remains challenging due to the brain's distributed and nonlinear organization. We present BrainStack, a functionally guided neuro-mixture-of-experts (Neuro-MoE) framework that models the brain's modular functional architecture through anatomically partitioned expert networks. Each functional region is represented by a specialized expert that learns localized neural dynamics, while a transformer-based global expert captures cross-regional dependencies. A learnable routing gate adaptively aggregates these heterogeneous experts, enabling context-dependent expert coordination and selective fusion. To promote coherent representation across the hierarchy, we introduce cross-regional distillation, where the global expert provides top-down regularization to the regional experts. We further release SilentSpeech-EEG (SS-EEG), a large-scale benchmark comprising over 120 hours of EEG recordings from 12 subjects performing 24 silent words, the largest dataset of its kind. Experiments demonstrate that BrainStack consistently outperforms state-of-the-art models, achieving superior accuracy and generalization across subjects. Our results establish BrainStack as a functionally modular, neuro-inspired MoE paradigm that unifies neuroscientific priors with adaptive expert routing, paving the way for scalable and interpretable brain-language decoding.