EEG 기반 시각 정보 해독을 위한 다층 양방향 생체 모방 학습

Multi-Level Bidirectional Biomimetic Learning for EEG-Based Visual Decoding

EEG 기반 시각 신경 해독은 뇌파 반응을 시각 자극과 연결하여 이미지 검색과 같은 작업을 수행하는 것을 목표로 합니다. 그러나 제한된 쌍으로 연결된 데이터와 고품질 디지털 이미지와 생물학적 시각 인식 간의 근본적인 불일치(망막 지도 및 피험자별 신경 해부학적 특성으로 인한 왜곡)는 교차 모드 정렬을 심각하게 저해합니다. 이러한 문제를 해결하기 위해, 우리는 구조화된 생리학적 유도 편향을 표현 학습에 통합하는 다층 양방향 생체 모방 학습 프레임워크인 MB2L을 제안합니다. 구체적으로, 우리는 망막 지도 우선순위에 따라 시각 입력을 재가중하여 지각-구조적 불일치를 완화하는 적응형 블러(Adaptive Blur)와 시각 사전 지식(Visual Priors)을 제안합니다. 또한, 우리는 계층적 피질 처리와 일관된 다층 시각 표현을 학습하여 피험자 불변 인코딩을 향상시키는 생체 모방 시각 특징 추출을 제안합니다. 이러한 모듈은 다층 양방향 대비 학습을 통해 공동으로 최적화되며, 이를 통해 EEG와 시각 특징을 공유된 의미 공간에서 양방향 대비 목표를 통해 정렬합니다. 실험 결과, MB2L은 제로샷 EEG-to-image 검색에서 80.5%의 Top-1 정확도와 97.6%의 Top-5 정확도를 달성하여 기존 방법보다 훨씬 뛰어난 성능을 보이며, 피험자와 실험 환경 전반에 걸쳐 강력한 일반화 능력을 보여줍니다.

EEG-based visual neural decoding aims to align neural responses with visual stimuli for tasks such as image retrieval. However, limited paired data and a fundamental mismatch between high-fidelity digital images and biological visual perception - distorted by retinotopic mapping and subject-specific neuroanatomy - severely impede cross-modal alignment. To address this, we propose MB2L, a Multi-Level Bidirectional Biomimetic Learning framework that incorporates structured physiological inductive biases into representation learning. Specifically, we propose Adaptive Blur with Visual Priors to mitigate perceptual-structural mismatch by reweighting visual inputs according to retinotopic priors. We further propose Biomimetic Visual Feature Extraction to learn multi-level visual representations consistent with hierarchical cortical processing, enhancing subject-invariant encoding. These modules are jointly optimized via Multi-level Bidirectional Contrastive Learning, which aligns EEG and visual features in a shared semantic space through bidirectional contrastive objectives. Experiments show MB2L achieves 80.5% Top-1 and 97.6% Top-5 accuracy on zero-shot EEG-to-image retrieval, significantly outperforming prior methods and demonstrating strong generalization across subjects and experimental settings.