S-CEReBrO: 연속적인 뇌파(EEG) 모니터링에서 기억 용량의 한계를 극복하는 방법

S-CEReBrO: Breaking the Memory Barrier in Continuous EEG Monitoring

기초 모델은 방대한 비표시 데이터 세트로부터 일반화된 표현을 활용하여 뇌파(EEG) 분석에 유망한 패러다임을 제공합니다. 그러나 트랜스포머 기반 아키텍처는 중요한 병목 현상인 전역 어텐션 메커니즘을 가지고 있는데, 이는 어텐션 메모리 상태를 신호 지속 시간과 결합시켜 연속 모니터링 중에 메모리 오버플로우를 유발합니다. 이러한 문제를 해결하기 위해, 우리는 연속 모니터링에 적합하도록 설계된 CEReBrO 아키텍처의 진화 버전인 S-CEReBrO (Streaming CEReBrO)를 소개합니다. 우리의 새로운 윈도우 기반 교차 어텐션(Windowed Alternating Attention) 메커니즘은 어텐션 계산을 고정 크기의 공간-시간 윈도우로 분리하여, 활성 윈도우에만 필요한 어텐션 맵이 상주하도록 하여 KV 캐시 메모리를 일정하게 유지합니다. 경험적 스케일링 분석 결과, 윈도우 기반 교차 어텐션은 전체 셀프 어텐션보다 100배 더 긴 신호를 처리할 수 있으며, 저랭크 선형 어텐션보다 3배 더 긴 신호를 처리할 수 있습니다. 장기간의 문맥에서 저랭크 선형 어텐션과 비교했을 때, 윈도우 기반 교차 어텐션은 메모리 사용량을 55% 줄이면서 추론 처리 속도를 2.1배 향상시킵니다. S-CEReBrO는 >12,000명의 피험자로부터 수집된 >25,000시간의 기록 데이터로 사전 학습되었으며, 11개의 하위 작업 중 7개에서 최고 성능을 달성했으며, 파라미터 수가 최대 60% 감소했습니다. 이 연구는 효율적이고 일반화 가능하며 연속적인 뇌파 모니터링 구현에 중요한 진전을 나타냅니다. 관련 코드 저장소도 제공됩니다.

Foundation models offer a promising paradigm for Electroencephalography (EEG) analysis, leveraging generalizable representations from vast unlabeled datasets. Yet, Transformer-based architectures face a critical bottleneck: global attention mechanisms couple the attention memory state to the signal duration, causing memory overflow during continuous monitoring. To address this, we introduce S-CEReBrO (Streaming CEReBrO), an evolution of the CEReBrO architecture designed for continuous monitoring. Our novel Windowed Alternating Attention mechanism factorizes attention computation into fixed-size spatiotemporal windows, guaranteeing constant KV cache memory as only the active window requires resident attention maps. Empirical scaling analysis confirms that windowed alternating attention can process signals 100X longer than full self-attention and 3X longer than low-rank linear attention. Compared to low-rank linear attention on long contexts, windowed alternating attention requires 55% of the memory while increasing inference throughput by 2.1X. Pre-trained on >25,000 hours of recordings from >12,000 subjects, S-CEReBrO achieves state-of-the-art performance on 7 of 11 downstream tasks, with up to 60% fewer parameters. This work represents a significant step toward the realization of efficient, generalizable, and continuous EEG monitoring. An accompanying code repository is available.