EEG-JEPA: 구조화된 잠재 변수 예측을 통한 뇌파 기반 모델

EEG-JEPA: Structured Latent Prediction for EEG Foundation Models

뇌파 기반 모델은 대규모의 비표시 데이터로부터 재사용 가능한 표현을 학습하는 것을 목표로 합니다. 일반적인 사전 훈련 전략은 가려진 파형 복구이지만, 노이즈가 많은 뇌파에 직접적인 감독 신호를 적용하면 모델이 예측 가능한 배경 활동, 측정 효과 및 아티팩트를 복구하도록 유도하여 다양한 작업에서 전이될 수 있는 신경 구조를 학습하지 못할 가능성이 있습니다. 이는 핵심 질문을 제기합니다: 뇌파 기반 모델은 어떤 것을 예측해야만 전이 가능한 표현을 학습할 수 있을까요? 우리는 구조화된 잠재 변수 예측 프레임워크인 EEG-JEPA를 소개합니다. EEG-JEPA는 가려진 전압 샘플을 복구하는 대신, 마스크된 컨텍스트 인코더와 예측기가 전체 입력을 관찰하는 지수 이동 평균 대상 인코더에 의해 생성된 컨텍스트 잠재 상태를 추론합니다. EEG-JEPA는 세 가지 상호 보완적인 차원에 따라 대상 설계를 구성합니다: 대상 내용은 어떤 표현을 예측할 것인지 지정하고, 대상 지원은 뉴로토폴로지 기반 다중 스케일 전극-시간 마스킹(N-MET)을 통해 구조화된 전극-시간 영역에서 예측이 발생하는 위치를 지정하며, 대상 깊이는 어느 인코더 레이어에 감독 신호가 적용될 것인지를 지정합니다. 이러한 설계는 뇌파 사전 훈련을 누락된 측정값을 복구하는 것에서 구조화된 전극-시간 컨텍스트로부터 잠재 상태를 추론하는 것으로 전환합니다. 우리는 통제된 객관적 비교, 동결 다중 작업 전이 및 전체 미세 조정 실험을 통해 EEG-JEPA를 평가했습니다. 동일한 기본 모델, 사전 훈련 데이터 세트 및 훈련 기간 하에서, EEG-JEPA는 CBraMod 스타일의 가려진 파형 복구 방식에 비해 동결된 14개 작업의 평균 정확도를 40.49%에서 50.42%로 향상시켰습니다. 다중 소스 확장은 이 결과를 더욱 높여 52.94%를 달성했으며, 이는 EEG-FM-Bench에서 평가된 뇌파 기반 모델 중 가장 높은 평균 정확도입니다. 프로토콜 일치하는 전체 미세 조정 하에서도, EEG-JEPA는 9개 작업의 평균 정확도를 68.98%에서 70.65%로 향상시켰습니다.

Electroencephalography (EEG) foundation models aim to learn reusable representations from large-scale unlabeled recordings. A common pretraining strategy is masked waveform reconstruction, but applying supervision directly to noisy EEG may encourage models to recover predictable background activity, acquisition effects, and artifacts rather than neural structure that transfers across tasks. This raises a central question: what should an EEG foundation model predict to learn transferable representations? We introduce EEG-JEPA a structured latent-prediction framework for EEG foundation modeling. Rather than reconstructing masked voltage samples, a masked context encoder and predictor infer contextual latent states produced by an exponential-moving-average target encoder that observes the complete input. EEG-JEPA organizes target design along three complementary dimensions: target content specifies what representation is predicted, target support specifies where prediction occurs over structured electrode--time regions through Neurotopology-Aware Multi-scale Electrode-Temporal Masking (N-MET), and target depth specifies at which encoder layers supervision is applied. Together, these designs shift EEG pretraining from recovering missing measurements to inferring latent states from structured electrode--time context. We evaluate EEG-JEPA through controlled objective comparisons, frozen multitask transfer, and full fine-tuning. Under the same backbone, pretraining corpus, and training duration, EEG-JEPA improves the 14-task frozen macro balanced accuracy from 40.49% to 50.42% over CBraMod-style masked waveform reconstruction. Multi-source continuation further raises this result to 52.94%, the highest average among the EEG foundation models evaluated on EEG-FM-Bench. Under protocol-matched full fine-tuning, EEG-JEPA also improves the nine-task average balanced accuracy from 68.98% to 70.65%.