뇌 그래프 기반 기초 모델을 위한 확산 모델 기반 사전 훈련

Diffusion-Guided Pretraining for Brain Graph Foundation Models

뇌 신호에 대한 기초 모델에 대한 관심이 높아짐에 따라, 연결체 데이터로부터 전이 가능한 표현을 학습하는 유망한 방법으로 그래프 기반 사전 훈련이 부상했습니다. 그러나 기존의 대비 학습 및 마스크 자동 인코더 방법은 일반적으로 증강을 위해 단순한 임의적인 드롭핑 또는 마스킹을 사용하는데, 이는 의미 있는 연결 패턴을 파괴하기 때문에 뇌 그래프 및 하이퍼그래프에 적합하지 않습니다. 또한, 일반적으로 사용되는 그래프 수준의 읽기 및 재구성 방식은 전역적인 구조 정보를 포착하지 못하여 학습된 표현의 견고성을 제한합니다. 본 연구에서는 이러한 한계점을 해결하는 통합된 확산 기반 사전 훈련 프레임워크를 제안합니다. 첫째, 확산 모델은 구조에 대한 인식을 가진 드롭핑 및 마스킹 전략을 안내하여 뇌 그래프의 의미를 유지하면서 효과적인 사전 훈련의 다양성을 확보합니다. 둘째, 확산 모델은 그래프 임베딩과 마스크된 노드가 전역적으로 관련된 영역으로부터 정보를 집계할 수 있도록 하여, 토폴로지 기반의 그래프 수준 읽기 및 노드 수준의 전역 재구성을 가능하게 합니다. 다양한 정신 질환 및 뇌 아틀라스를 포함하는 25,000명 이상의 피험자 및 60,000건 이상의 스캔을 포함하는 여러 신경 영상 데이터 세트에 대한 광범위한 실험 결과, 일관된 성능 향상이 확인되었습니다.

With the growing interest in foundation models for brain signals, graph-based pretraining has emerged as a promising paradigm for learning transferable representations from connectome data. However, existing contrastive and masked autoencoder methods typically rely on naive random dropping or masking for augmentation, which is ill-suited for brain graphs and hypergraphs as it disrupts semantically meaningful connectivity patterns. Moreover, commonly used graph-level readout and reconstruction schemes fail to capture global structural information, limiting the robustness of learned representations. In this work, we propose a unified diffusion-based pretraining framework that addresses both limitations. First, diffusion is designed to guide structure-aware dropping and masking strategies, preserving brain graph semantics while maintaining effective pretraining diversity. Second, diffusion enables topology-aware graph-level readout and node-level global reconstruction by allowing graph embeddings and masked nodes to aggregate information from globally related regions. Extensive experiments across multiple neuroimaging datasets with over 25,000 subjects and 60,000 scans involving various mental disorders and brain atlases demonstrate consistent performance improvements.