다양한 임상 정보를 활용한 적응적 잠재 확산 모델을 이용한 다중 모드 뇌 영상 생성 및 누락된 모드 보완

Adaptive Clinical-Aware Latent Diffusion for Multimodal Brain Image Generation and Missing Modality Imputation

다중 모드 뇌 영상은 알츠하이머병 진단에 있어 상호 보완적인 정보를 제공하지만, 임상 데이터셋은 종종 일부 모드가 누락되는 경우가 많습니다. 본 논문에서는 ACADiff라는 프레임워크를 제안합니다. ACADiff는 적응적인 임상 정보를 활용한 확산 모델을 통해 누락된 뇌 영상 모드를 생성합니다. ACADiff는 불완전한 다중 모드 데이터와 목표 모드 간의 매핑을 학습하며, 사용 가능한 뇌 영상 데이터와 임상 메타데이터에 주목하면서 잠재 표현을 점진적으로 제거합니다. 이 프레임워크는 입력 데이터의 가용성에 따라 동적으로 재구성되는 적응적 융합 기술과 GPT-4o로 인코딩된 프롬프트를 활용한 의미론적 임상 지침을 사용합니다. 세 개의 특수 생성기를 사용하여 sMRI, FDG-PET 및 AV45-PET 영상 간의 양방향 생성을 가능하게 합니다. ADNI 데이터셋을 사용하여 평가한 결과, ACADiff는 우수한 생성 품질을 달성하고, 극단적인 80%의 데이터 누락 상황에서도 강력한 진단 성능을 유지하며, 기존의 모든 기준 모델보다 뛰어난 성능을 보였습니다. 재현성을 높이기 위해, 코드 및 관련 정보는 다음 링크에서 확인할 수 있습니다: https://github.com/rongzhou7/ACADiff

Multimodal neuroimaging provides complementary insights for Alzheimer's disease diagnosis, yet clinical datasets frequently suffer from missing modalities. We propose ACADiff, a framework that synthesizes missing brain imaging modalities through adaptive clinical-aware diffusion. ACADiff learns mappings between incomplete multimodal observations and target modalities by progressively denoising latent representations while attending to available imaging data and clinical metadata. The framework employs adaptive fusion that dynamically reconfigures based on input availability, coupled with semantic clinical guidance via GPT-4o-encoded prompts. Three specialized generators enable bidirectional synthesis among sMRI, FDG-PET, and AV45-PET. Evaluated on ADNI subjects, ACADiff achieves superior generation quality and maintains robust diagnostic performance even under extreme 80\% missing scenarios, outperforming all existing baselines. To promote reproducibility, code is available at https://github.com/rongzhou7/ACADiff