ENIGMA: 15분 이내, 전체 매개변수의 1% 미만을 사용하여 뇌파(EEG) 데이터를 이미지로 변환하는 모델

ENIGMA: EEG-to-Image in 15 Minutes Using Less Than 1% of the Parameters

뇌-컴퓨터 인터페이스(BCI) 모델은 실제 응용 분야에서 활용 가능하도록 새로운 피험자에게 쉽게 빠르게 적용될 수 있어야 하며, 저렴한 스캔 장비에서도 효과적으로 작동해야 하고, 접근 가능한 컴퓨팅 자원에서 로컬로 실행될 수 있을 만큼 작아야 합니다. 이러한 현재의 한계를 극복하기 위해, 우리는 ENIGMA를 소개합니다. ENIGMA는 뇌파(EEG) 데이터를 이미지로 변환하는 모델로, EEG 기록으로부터 이미지를 재구성하며, 연구용 THINGS-EEG2와 소비자용 AllJoined-1.6M 벤치마크에서 최고 수준의 성능을 달성합니다. 또한, 단 15분이라는 짧은 데이터만으로 새로운 피험자에게 효과적으로 적용할 수 있습니다. ENIGMA는 이전 방법보다 훨씬 단순한 구조를 가지며, 필요한 학습 가능한 매개변수의 양이 1% 미만입니다. 우리의 접근 방식은 피험자 통합된 시공간 기반 모델과 함께, 다수의 피험자를 위한 잠재 변수 정렬 레이어 및 MLP 프로젝터를 사용하여 원시 뇌파 신호를 풍부한 시각적 잠재 공간으로 매핑합니다. 우리는 fMRI-to-Image 연구 분야에서 표준화된 다양한 이미지 재구성 지표를 사용하여 우리의 접근 방식을 평가했으며, 인간 평가단을 활용하여 재구성된 이미지에 대한 광범위한 행동 평가를 수행한 최초의 EEG-to-Image 연구입니다. 우리의 간단하고 견고한 구조는 연구용 및 소비자용 뇌파(EEG) 하드웨어 모두에서 상당한 성능 향상을 제공하며, 미세 조정 효율성과 추론 비용을 크게 개선합니다. 마지막으로, 다양한 벤치마크 데이터 세트에서 단일 및 다중 피험자 환경 모두에서 성능 향상에 가장 큰 영향을 미치는 아키텍처 선택을 결정하기 위해 광범위한 분석을 수행했습니다. 종합적으로, 우리의 연구는 실용적인 뇌-컴퓨터 인터페이스 응용 프로그램 개발에 중요한 진전을 이루었습니다.

To be practical for real-life applications, models for brain-computer interfaces must be easily and quickly deployable on new subjects, effective on affordable scanning hardware, and small enough to run locally on accessible computing resources. To directly address these current limitations, we introduce ENIGMA, a multi-subject electroencephalography (EEG)-to-Image decoding model that reconstructs seen images from EEG recordings and achieves state-of-the-art (SOTA) performance on the research-grade THINGS-EEG2 and consumer-grade AllJoined-1.6M benchmarks, while fine-tuning effectively on new subjects with as little as 15 minutes of data. ENIGMA boasts a simpler architecture and requires less than 1% of the trainable parameters necessary for previous approaches. Our approach integrates a subject-unified spatio-temporal backbone along with a set of multi-subject latent alignment layers and an MLP projector to map raw EEG signals to a rich visual latent space. We evaluate our approach using a broad suite of image reconstruction metrics that have been standardized in the adjacent field of fMRI-to-Image research, and we describe the first EEG-to-Image study to conduct extensive behavioral evaluations of our reconstructions using human raters. Our simple and robust architecture provides a significant performance boost across both research-grade and consumer-grade EEG hardware, and a substantial improvement in fine-tuning efficiency and inference cost. Finally, we provide extensive ablations to determine the architectural choices most responsible for our performance gains in both single and multi-subject cases across multiple benchmark datasets. Collectively, our work provides a substantial step towards the development of practical brain-computer interface applications.