CognitionCapturerPro: 다중 정보 및 비대칭 정렬을 통한 EEG/MEG로부터의 고품질 시각 정보 복원 연구

CognitionCapturerPro: Towards High-Fidelity Visual Decoding from EEG/MEG via Multi-modal Information and Asymmetric Alignment

EEG로부터 시각 자극을 복원하는 것은 충실도 손실과 표현 변화로 인해 어려운 과제입니다. 본 연구에서는 EEG를 다양한 형태의 사전 정보(이미지, 텍스트, 깊이, 윤곽선)와 통합하여 충실도를 향상시키는 CognitionCapturerPro 프레임워크를 제안합니다. 핵심 기여 사항으로는, 각 모달리티별 충실도를 정량화하는 불확실성 가중 유사성 점수 산출 메커니즘과, 공유된 표현을 통합하는 퓨전 인코더를 개발했습니다. 단순화된 정렬 모듈과 사전 학습된 확산 모델을 사용하여, 제안하는 방법은 THINGS-EEG 데이터셋에서 기존의 CognitionCapturer보다 Top-1 및 Top-5 검색 정확도를 각각 25.9% 및 10.6% 향상시켰습니다. 코드: https://github.com/XiaoZhangYES/CognitionCapturerPro.

Visual stimuli reconstruction from EEG remains challenging due to fidelity loss and representation shift. We propose CognitionCapturerPro, an enhanced framework that integrates EEG with multi-modal priors (images, text, depth, and edges) via collaborative training. Our core contributions include an uncertainty-weighted similarity scoring mechanism to quantify modality-specific fidelity and a fusion encoder for integrating shared representations. By employing a simplified alignment module and a pre-trained diffusion model, our method significantly outperforms the original CognitionCapturer on the THINGS-EEG dataset, improving Top-1 and Top-5 retrieval accuracy by 25.9% and 10.6%, respectively. Code is available at: https://github.com/XiaoZhangYES/CognitionCapturerPro.