생물학적 발견 및 임상 예측을 위한 공간 트랜스크립토믹스 및 조직병리학 다중 모드 기반 모델

A Multimodal Foundation Model of Spatial Transcriptomics and Histology for Biological Discovery and Clinical Prediction

공간 트랜스크립토믹스(ST)는 해부학적 맥락 내에서 유전자 발현을 매핑할 수 있지만, 비용이 많이 들고 처리량이 낮습니다. 헤마톡실린 및 에오신(H&E) 염색은 풍부한 형태학적 정보를 제공하지만 분자 해상도가 부족합니다. 본 연구에서는 18개 장기에 걸쳐 120만 개의 공간적으로 해상된 트랜스크립토믹 프로파일과 매칭된 조직병리학 이미지를 사용하여 학습된 기반 모델인 **STORM (Spatial Transcriptomics and histOlogy Representation Model)**을 제시합니다. STORM은 형태학적 특징, 유전자 발현 및 공간적 맥락을 통합하는 계층적 아키텍처를 사용하여 이미징과 오믹스 데이터를 강력한 분자-형태학적 표현으로 연결합니다. STORM은 공간 영역 탐색을 향상시켜 생물학적으로 일관된 조직 지도를 생성하며, 11가지 종양 유형에서 H&E 이미지를 사용하여 공간적 유전자 발현을 예측하는 데 기존 방법보다 뛰어난 성능을 보입니다. 이 모델은 플랫폼에 구애받지 않으며 Visium, Xenium, Visium HD 및 CosMx 등 다양한 플랫폼에서 일관된 성능을 보입니다. 7,245명의 환자를 포함하는 23개의 독립적인 코호트에 적용한 결과, STORM은 기존 바이오마커보다 면역 치료 반응 예측 및 예후 예측을 크게 향상시키며, 공간 정보를 활용한 연구 및 임상 정밀 의료를 위한 확장 가능한 프레임워크를 제공합니다.

Spatial transcriptomics (ST) enables gene expression mapping within anatomical context but remains costly and low-throughput. Hematoxylin and eosin (H\&E) staining offers rich morphology yet lacks molecular resolution. We present \textbf{\ours} (\textbf{S}patial \textbf{T}ranscriptomics and hist\textbf{O}logy \textbf{R}epresentation \textbf{M}odel), a foundation model trained on 1.2 million spatially resolved transcriptomic profiles with matched histology across 18 organs. Using a hierarchical architecture integrating morphological features, gene expression, and spatial context, STORM bridges imaging and omics through robust molecular--morphological representations. STORM enhances spatial domain discovery, producing biologically coherent tissue maps, and outperforms existing methods in predicting spatial gene expression from H\&E images across 11 tumor types. The model is platform-agnostic, performing consistently across Visium, Xenium, Visium HD, and CosMx. Applied to 23 independent cohorts comprising 7,245 patients, STORM significantly improves immunotherapy response prediction and prognostication over established biomarkers, providing a scalable framework for spatially informed discovery and clinical precision medicine.