다중 모달 조직 병리학을 위한 생성적 기반 모델

A Generative Foundation Model for Multimodal Histopathology

복잡한 질병의 정확한 진단 및 치료에는 조직학적, 분자 및 임상 데이터를 통합하는 것이 필수적이지만, 실제로는 조직 부족, 분석 비용 및 워크플로우 제약으로 인해 이러한 데이터가 종종 불완전합니다. 기존의 계산적 접근 방식은 가용한 데이터를 기반으로 누락된 데이터를 추정하려고 시도하지만, 이러한 방식은 특정 작업에 맞춰 훈련된 모델에 의존하며, 이는 일반화 능력을 제한합니다. 본 연구에서는 다중 모달 조직 병리학 확산 모델(MuPD)을 소개합니다. MuPD는 헤마톡실린 및 에오신(H&E) 염색 조직, 분자 RNA 프로필 및 임상 텍스트를 분리된 교차 모달 어텐션 메커니즘을 갖춘 확산 트랜스포머를 통해 공유된 잠재 공간에 통합합니다. MuPD는 34개의 인간 장기에 걸쳐 1억 개의 조직 이미지 패치, 160만 개의 텍스트-조직 쌍 및 1080만 개의 RNA-조직 쌍으로 사전 훈련되었으며, 최소한의 또는 어떠한 작업별 미세 조정 없이도 다양한 교차 모달 합성 작업을 지원합니다. 텍스트 기반 생성 및 이미지-이미지 변환에서 MuPD는 조직학적으로 정확한 조직 구조를 생성하며, 도메인별 모델에 비해 Fréchet inception distance (FID) 점수를 50% 줄이고, 합성 데이터 증강을 통해 몇 가지 예제만으로 분류 정확도를 최대 47% 향상시킵니다. RNA 기반 조직 생성에서 MuPD는 차세대 최적 모델과 비교하여 FID를 23% 줄이면서 5가지 암 유형에 걸쳐 세포 유형 분포를 유지합니다. 또한 MuPD는 가상 염색제로 작동하여 H&E 이미지를 면역 조직 화학 및 다중 면역 형광 이미지로 변환하며, 기존 방식보다 평균 마커 상관 관계를 37% 향상시킵니다. 이러한 결과는 다양한 조직 병리학 모달리티에 걸쳐 사전 훈련된 단일 통합 생성 모델이 특수화된 대안보다 훨씬 뛰어난 성능을 보이며, 다중 모달 조직 병리학을 위한 확장 가능한 계산 프레임워크를 제공한다는 것을 보여줍니다.

Accurate diagnosis and treatment of complex diseases require integrating histological, molecular, and clinical data, yet in practice these modalities are often incomplete owing to tissue scarcity, assay cost, and workflow constraints. Existing computational approaches attempt to impute missing modalities from available data but rely on task-specific models trained on narrow, single source-target pairs, limiting their generalizability. Here we introduce MuPD (Multimodal Pathology Diffusion), a generative foundation model that embeds hematoxylin and eosin (H&E)-stained histology, molecular RNA profiles, and clinical text into a shared latent space through a diffusion transformer with decoupled cross-modal attention. Pretrained on 100 million histology image patches, 1.6 million text-histology pairs, and 10.8 million RNA-histology pairs spanning 34 human organs, MuPD supports diverse cross-modal synthesis tasks with minimal or no task-specific fine-tuning. For text-conditioned and image-to-image generation, MuPD synthesizes histologically faithful tissue architectures, reducing Fréchet inception distance (FID) scores by 50% relative to domain-specific models and improving few-shot classification accuracy by up to 47% through synthetic data augmentation. For RNA-conditioned histology generation, MuPD reduces FID by 23% compared with the next-best method while preserving cell-type distributions across five cancer types. As a virtual stainer, MuPD translates H&E images to immunohistochemistry and multiplex immunofluorescence, improving average marker correlation by 37% over existing approaches. These results demonstrate that a single, unified generative model pretrained across heterogeneous pathology modalities can substantially outperform specialized alternatives, providing a scalable computational framework for multimodal histopathology.