NeuroAtlas: 임상 EEG 및 뇌-컴퓨터 인터페이스를 위한 기초 모델 벤치마킹

NeuroAtlas: Benchmarking Foundation Models for Clinical EEG and Brain-Computer Interfaces

기초 모델(FM)은 다양한 하위 작업에 걸쳐 일반화되는 통합 표현을 추출할 수 있을 것으로 기대됩니다. 이러한 모델은 뇌전위(EEG)를 포함한 다양한 분야에서 등장했지만, 특히 이 분야에서 얼마나 효과적인지는 명확하지 않습니다. 기존 연구들은 데이터셋, EEG 특화 전처리 방식(결과에 영향을 미칠 수 있음), 그리고 보고되는 지표 측면에서 상이하며, 이는 종종 EEG의 임상적 관련성을 가립니다. 본 연구에서는 NeuroAtlas를 소개합니다. NeuroAtlas는 현재까지 가장 큰 EEG 벤치마크 데이터셋으로, 42개의 데이터셋과 26만 시간 분량의 데이터로 구성되어 있으며, 임상 EEG(뇌전증, 수면 의학, 뇌 연령 추정) 및 뇌-컴퓨터 인터페이스를 포함합니다. 또한, 각 작업에 대해 여러 데이터셋을 포함하고 있으며, 임상적 평가 지표를 사용합니다. 본 연구에서는 EEG-FM을 지도 학습 기반 모델과 비교하여 평가하고, 일반적인 시계열 FM의 결과를 제시합니다. 본 연구는 세 가지 주요 결과를 보고합니다. 첫째, EEG 특화 FM이 반드시 시계열 FM보다 우수한 성능을 보이지 않습니다. 시계열 FM은 EEG에 특화된 구조를 가지고 있지 않으며, EEG 데이터로 사전 훈련되지 않았습니다. 둘째, 표준 머신러닝 지표로는 임상적 유용성을 평가하기에 부족합니다. 따라서, 이벤트 수준의 의사 결정 품질, 뇌파 기반 특징, 그리고 뇌전증, 수면, 뇌 연령 분야에서 뇌 연령 간의 차이와 같은 보다 적절한 지표를 사용하여 종합적으로 평가했습니다. 셋째, 모델의 순위 및 성능은 분야 내에서 상당한 차이를 보입니다. 결론적으로, 사전 훈련된 모델들은 전반적으로 비슷한 성능을 보이며, 일부 모델에서만 미미한 장점을 보입니다. 현재 모델들은 '바로 사용 가능한' 통합 EEG 모델로서의 잠재력을 충분히 보여주지 못하고 있습니다. NeuroAtlas는 이러한 격차를 보여주며, 차세대 통합 EEG FM을 개발하기 위한 데이터셋과 지표를 제공합니다.

Foundation models (FMs) promise to extract unified representations that generalize across downstream tasks. They have emerged across fields, including electroencephalography (EEG), but it is less clear how effective they are in this particular field. Published evaluations differ in datasets, in the EEG-specific preprocessing that might influence reported results, and in the reported metrics, frequently obscuring the clinical relevance in EEG. We introduce NeuroAtlas, the largest EEG benchmark to date: 42 datasets and 260k hours covering clinical EEG (epilepsy, sleep medicine, brain age estimation) and brain-computer interfaces, and include multiple datasets per task along with bespoke clinical evaluation metrics. Besides evaluating EEG-FMs with respect to supervised baselines, we present results from generic time-series FMs. We report three findings. First, EEG-specific FMs do not consistently outperform time-series FMs, which have neither EEG-focused architectures nor been pretrained on EEG. Second, standard machine learning metrics are insufficient to assess clinical utility: thus, we thoroughly evaluate more appropriate measures such as the quality of event-level decision-making, hypnogram-derived features, and the brain-age gap in the domains of epilepsy, sleep, and brain age, respectively. Third, model rankings and performance can vary substantially within domains. We conclude that pretrained models perform largely on par, with only narrow advantages for a few, and that current models do not yet deliver on the promise of an out-of-the-box unified EEG model. NeuroAtlas exposes this gap and provides the datasets and metrics for the next generation of unified EEG FMs.