EgoBrain: 인간 행동 이해를 위한 두뇌와 시각의 통합

EgoBrain: Synergizing Minds and Eyes For Human Action Understanding

뇌-컴퓨터 인터페이스(BCI), 특히 뇌전위(EEG)를 인공지능(AI)과 결합하는 것은 신경 신호로부터 인간의 인지 및 행동을 해독하는 데 엄청난 잠재력을 보여주었습니다. 특히, 다중 모드 AI 모델의 발전은 이전에는 상상할 수 없었던 새로운 가능성을 제시하고 있습니다. 본 논문에서는 세계 최초의 대규모, 시간적으로 동기화된 다중 모드 데이터셋인 EgoBrain을 소개합니다. EgoBrain은 인간의 뇌 활동에 대한 1인칭(자아 중심) 시각 정보와 EEG 데이터를 장기간에 걸쳐 동기화하여 인간 중심 행동 분석에 대한 새로운 패러다임을 제시합니다. 본 데이터셋은 40명의 참가자가 수행한 29가지 일상 활동을 포함하는 61시간 분량의 동기화된 32채널 EEG 기록과 1인칭 비디오로 구성되어 있습니다. 우리는 또한 행동 이해를 위한 EEG와 시각 정보를 통합하는 다중 모드 학습 프레임워크를 개발하고, 교차 대상 및 교차 환경 테스트에서 검증하여 66.70%의 행동 인식 정확도를 달성했습니다. EgoBrain은 다중 모드 및 자아 중심 뇌-컴퓨터 인터페이스에 대한 통일된 프레임워크 구축을 위한 기반을 마련하며, 신경 신호와 1인칭 인식을 연결합니다. 본 데이터셋과 코드는 다음 주소에서 공개적으로 이용할 수 있습니다: https://huggingface.co/datasets/ut-vision/EgoBrain 및 https://github.com/ut-vision/EgoBrain .

The integration of brain-computer interfaces (BCIs), in particular electroencephalography (EEG), with artificial intelligence (AI) has shown tremendous promise in decoding human cognition and behavior from neural signals. In particular, the rise of multimodal AI models have brought new possibilities that have never been imagined before. Here, we present EgoBrain -- the world's first large-scale, temporally aligned multimodal dataset that synchronizes first-person (egocentric) vision and EEG of human brain over extended periods of time, establishing a new paradigm for human-centered behavior analysis. This dataset comprises 61 hours of synchronized 32-channel EEG recordings and first-person video from 40 participants engaged in 29 categories of daily activities. We then developed a multimodal learning framework to fuse EEG and vision for action understanding, validated across both cross-subject and cross-environment challenges, achieving an action recognition accuracy of 66.70%. EgoBrain paves the way toward a unified framework for multimodal and egocentric brain-computer interfaces, bridging neural signals and first-person perception. Our dataset and code are publicly available at: https://huggingface.co/datasets/ut-vision/EgoBrain and https://github.com/ut-vision/EgoBrain .