재구성 기반 뇌파(EEG) 기초 모델에서 나타나는 비주기적 및 저주파 스펙트럼 편향

Aperiodic and Low-Frequency Spectral Bias in Reconstruction based EEG Foundation Models

대규모의 레이블이 없는 뇌파 데이터로 사전 학습된 뇌파 기초 모델은 일반화 가능한 뇌파 표현을 학습하는 유망한 방법으로 부상했습니다. 풍부한 데이터를 사용하는 환경에서는 긍정적인 결과를 보여주지만, 리소스가 제한적인 환경에서는 완전하게 지도 학습된 작은 모델보다 성능이 뛰어난 경우가 드뭅니다. 본 연구는 이러한 한계의 근본 원인을 밝히고, 재구성 기반 사전 학습 방식과 뇌파 신호의 고유한 스펙트럼 구조 간의 불일치에 기인한다고 설명합니다. 뇌파 신호는 구별되는 고전력 비주기적 성분과 저전력 진동 성분으로 구성됩니다. 통제된, 인공적으로 생성된 뇌파 데이터를 사용하여 뇌파 기초 모델의 임베딩이 뇌파 신호의 비주기적 성분을 더 잘 포착하는 반면, 특히 고주파 영역에서 진동 성분을 제대로 표현하지 못한다는 것을 보여줍니다. 또한 실제 뇌-컴퓨터 인터페이스(BCI) 데이터 세트에 대한 선형 탐색 평가 결과, 임베딩이 과제와 관련된 정보보다 피험자의 식별 정보를 더 강하게 인코딩한다는 사실을 밝혀냈습니다. 이는 재구성 기반 학습 목표를 중심으로 학습된 기초 모델 임베딩에서 나타나는 저주파 및 비주기적 성분 편향을 강화합니다. 종합적으로, 이러한 결과는 재구성 기반 뇌파 기초 모델의 실패 원인을 설명하며, 보다 강력하고 일반화 가능한 뇌파 표현을 얻기 위한 향후 연구에서는 고주파 진동 구조를 명시적으로 목표로 하는 보조 손실을 통합하는 방법을 모색해야 함을 시사합니다.

EEG foundation models, pre-trained on large-scale unlabelled EEG data, have emerged as a promising direction towards learning generalizable EEG representations. Despite showing positive results in data-rich regimes, they often fail to outperform significantly smaller supervised models in low-resource settings compared to fully supervised models. We provide a mechanistic account of this shortcoming, attributing it to a fundamental mismatch between reconstruction-based pretext tasks and the idiosyncratic spectral structure of EEG signals, which decompose into distinct high-power aperiodic and low-power oscillatory components. Using controlled, synthetically-generated EEG inputs, we demonstrate that EEG foundation model embeddings are biased to capture the aperiodic components of the EEG signal while under-representing oscillatory components, particularly at higher frequencies. Additionally, linear probe evaluations on real-world BCI datasets further reveal that embeddings encode subject identity more strongly than task-relevant information, thereby reinforcing the low-frequency and aperiodic component bias in foundation model embeddings trained primarily on reconstruction based objectives. Together, these findings elucidate a failure mode in reconstruction based EEG foundation models and motivate future work to incorporate auxiliary losses explicitly targeting high-frequency oscillatory structure as a path toward more capable and generalizable EEG representations.