BrainVista: 자연스러운 뇌 활동을 다중 모달 다음 단어 예측 모델로 표현

BrainVista: Modeling Naturalistic Brain Dynamics as Multimodal Next-Token Prediction

자연스러운 fMRI는 뇌를 지속적인 감각 정보에 의해 구동되는 동적 예측 시스템으로 특성화합니다. 그러나 현실적인 신경 시뮬레이션에서 인과적인 시간적 진행을 모델링하는 것은 다중 모달 입력과 피질 네트워크의 복잡한 연결 구조 간의 시간 규모 불일치로 인해 어려움을 겪습니다. 이러한 문제점을 해결하기 위해, 우리는 뇌 상태의 인과적 발전을 모델링하도록 설계된 다중 모달 자기 회귀 프레임워크인 BrainVista를 소개합니다. BrainVista는 시스템별 역학을 분리하기 위한 네트워크 기반 토크나이저와 기능적 경계를 손상시키지 않고 네트워크 간 정보 흐름을 캡처하는 공간 혼합 헤드를 포함합니다. 또한, 우리는 고주파 감각 자극을 혈역학적으로 필터링된 신호와 동기화하여 엄격한, 과거 정보만을 이용한 인과적 조건 설정을 가능하게 하는 새로운 Stimulus-to-Brain (S2B) 마스킹 메커니즘을 제안합니다. 우리는 우리의 프레임워크를 Algonauts 2025, CineBrain, 및 HAD 데이터셋에 대해 검증하여 최첨단 fMRI 인코딩 성능을 달성했습니다. 장기 예측 설정에서, 우리의 모델은 기존 모델보다 상당한 성능 향상을 보였으며, 각각 Algonauts 2025 및 CineBrain 데이터셋에서 패턴 상관성을 36.0% 및 33.3% 증가시켰습니다.

Naturalistic fMRI characterizes the brain as a dynamic predictive engine driven by continuous sensory streams. However, modeling the causal forward evolution in realistic neural simulation is impeded by the timescale mismatch between multimodal inputs and the complex topology of cortical networks. To address these challenges, we introduce BrainVista, a multimodal autoregressive framework designed to model the causal evolution of brain states. BrainVista incorporates Network-wise Tokenizers to disentangle system-specific dynamics and a Spatial Mixer Head that captures inter-network information flow without compromising functional boundaries. Furthermore, we propose a novel Stimulus-to-Brain (S2B) masking mechanism to synchronize high-frequency sensory stimuli with hemodynamically filtered signals, enabling strict, history-only causal conditioning. We validate our framework on Algonauts 2025, CineBrain, and HAD, achieving state-of-the-art fMRI encoding performance. In long-horizon rollout settings, our model yields substantial improvements over baselines, increasing pattern correlation by 36.0\% and 33.3\% on relative to the strongest baseline Algonauts 2025 and CineBrain, respectively.