하나의 뇌, 모든 모드: 대규모 언어 모델을 활용한 통합 비침습 뇌 해독 연구

One Brain, Omni Modalities: Towards Unified Non-Invasive Brain Decoding with Large Language Models

비침습적인 뇌 활동 측정 기술을 통해 뇌 기능을 이해하기 위해서는 고주파 전자기 신호(EEG/MEG)와 저주파 대사 신호(fMRI)를 종합적으로 분석해야 합니다. 그러나 뇌 활동의 신경학적 기원이 동일함에도 불구하고, 기존에는 이러한 신호들이 분석 파이프라인이 분리되어 있어 뇌 활동에 대한 전체적인 해석을 어렵게 했습니다. 이러한 문제점을 해결하기 위해, 우리는 신경-다중 모드-뇌-인코딩 대규모 언어 모델(LLM)인 **NOBEL**을 제안합니다. NOBEL은 다양한 형태의 뇌 신호를 LLM의 의미론적 임베딩 공간 내에서 통합합니다. 우리의 아키텍처는 EEG 및 MEG 신호를 위한 통합 인코더와 fMRI 신호를 위한 새로운 이중 경로 전략을 사용하며, 비침습적인 뇌 신호와 외부 감각 자극을 공유된 토큰 공간으로 통합하고, LLM을 핵심 모델로 활용합니다. 광범위한 실험 결과, NOBEL은 표준적인 단일 모드 작업에서 강력한 성능을 보이는 것을 확인했습니다. 또한, 전자기 및 대사 신호를 융합하면 단일 모드 기준보다 높은 해독 정확도를 얻을 수 있으며, 이는 다양한 뇌 활동 모드의 상호 보완적인 특성을 입증합니다. 더욱이, NOBEL은 자극에 대한 민감성을 갖춘 해독 능력을 보여주며, NSD 및 HAD 데이터셋의 다수 대상 fMRI 데이터를 사용하여 시각적 의미를 효과적으로 해석하고, 직접적인 자극 입력을 활용하여 감각 신호와 신경 반응 간의 인과 관계를 검증합니다. NOBEL은 비침습적인 뇌 해독을 통합하는 데 한 걸음 더 나아가는 연구이며, 다중 모드 뇌 이해의 잠재력을 보여줍니다.

Deciphering brain function through non-invasive recordings requires synthesizing complementary high-frequency electromagnetic (EEG/MEG) and low-frequency metabolic (fMRI) signals. However, despite their shared neural origins, extreme discrepancies have traditionally confined these modalities to isolated analysis pipelines, hindering a holistic interpretation of brain activity. To bridge this fragmentation, we introduce \textbf{NOBEL}, a \textbf{n}euro-\textbf{o}mni-modal \textbf{b}rain-\textbf{e}ncoding \textbf{l}arge language model (LLM) that unifies these heterogeneous signals within the LLM's semantic embedding space. Our architecture integrates a unified encoder for EEG and MEG with a novel dual-path strategy for fMRI, aligning non-invasive brain signals and external sensory stimuli into a shared token space, then leverages an LLM as a universal backbone. Extensive evaluations demonstrate that NOBEL serves as a robust generalist across standard single-modal tasks. We also show that the synergistic fusion of electromagnetic and metabolic signals yields higher decoding accuracy than unimodal baselines, validating the complementary nature of multiple neural modalities. Furthermore, NOBEL exhibits strong capabilities in stimulus-aware decoding, effectively interpreting visual semantics from multi-subject fMRI data on the NSD and HAD datasets while uniquely leveraging direct stimulus inputs to verify causal links between sensory signals and neural responses. NOBEL thus takes a step towards unifying non-invasive brain decoding, demonstrating the promising potential of omni-modal brain understanding.