뇌파 기반 모델의 일반화 성능 평가를 위한 다차원 프레임워크

A Multi-dimensional Framework for Evaluating Generalization in EEG Foundation Models

적절한 환경에서 기초 모델을 평가하는 것은 학습된 표현의 품질과 활용 가능성을 이해하는데 필수적입니다. 최근 개발된 뇌파 기반 기초 모델은 다양한 작업 및 데이터 세트 간에 유망한 전이 능력을 보여주었으며, 이는 신경 기술 및 임상 응용 분야에서의 활용을 증가시키고 있습니다. 그러나 이러한 모델들은 일반적으로 잘 구성된 downstream 데이터 세트에 대한 전체 fine-tuning 방식으로 평가되는데, 이는 제한적인 레이블 데이터, 감소된 센서 범위 또는 파라미터 효율적인 적응과 같은 생의학 분야의 제약을 반영하지 못합니다. 본 연구에서는 현실적인 저자원 환경에서 뇌파 모델을 평가하기 위한 다차원 평가 프레임워크를 제안합니다. LaBraM, CSBrain 및 CBraMod를 포함한 지도 학습 기반 뇌파 모델과 최근 개발된 뇌파 기초 모델에 대해 6개의 다양한 데이터 세트를 사용하여 제안된 다차원 평가 프레임워크 하에서 실증적인 분석을 수행했습니다. 연구 결과, 뇌파 기초 모델은 수면 단계 예측 및 정신 건강 상태 분류와 같은 긴 문맥 기반 작업에서 일관적으로 성능 향상을 보였습니다. 반면에, 짧은 시간 창 기반의 뇌-컴퓨터 인터페이스(BCI) 스타일 작업에서는 파라미터 수가 훨씬 적음에도 불구하고 지도 학습 모델이 비슷한 수준의 성능을 달성했습니다. 추가적인 분석 결과, 현재 개발된 기초 모델은 짧은 시간 창 기반 작업 및 채널 제약 환경에 대한 제한적인 강건성을 갖는 것으로 나타났습니다. 이러한 연구 결과를 바탕으로, 현실적인 사용 제약을 고려한 모델의 동작을 특성화하는 다차원 평가 프로토콜의 활용이 필요함을 강조합니다.

Evaluating foundation models under appropriate adaptation settings is essential for understanding the quality and transferability of the learned representations. Recent EEG foundation models have demonstrated promising transfer capabilities across tasks and datasets, motivating their growing use in neurotechnology and clinical applications. However, these models are typically evaluated under full fine-tuning on well-curated downstream datasets, a setting that does not reflect biomedical domain constraints such as limited labeled data, reduced sensor coverage, or parameter-efficient adaptation. In this work, we propose a multi-dimensional evaluation framework for assessing EEG models under realistic low-resource conditions. Empirical analysis of both supervised EEG models and recent EEG foundation models, including LaBraM, CSBrain, and CBraMod, across 6 different datasets is performed under the proposed multi-dimensional evaluation framework. We find that EEG foundation models consistently provide performance gains on long-context tasks such as sleep stage prediction and mental health state classification. In contrast, for short-window Brain Computer Interface style tasks, supervised models achieve comparable despite having substantially fewer parameters. Additional analyses demonstrate that current foundation models provide limited robustness to short-window tasks and channel constrained settings. Together, these findings motivate the use of multi-dimensional evaluation protocols that characterize model behavior under realistic use constraints.