헬스케어 시스템 규모의 가상 환자 표현을 위한 다중 모드 및 시간 기반 기초 모델

A multimodal and temporal foundation model for virtual patient representations at healthcare system scale

현대 의학은 다양한 시스템에 분산된 방대한 양의 다중 모드 데이터를 생성하지만, 기존의 어떤 모델도 임상 기록 전체의 폭넓은 범위와 시간적 깊이를 통합하여 단일화된 환자 표현을 제공하지 못합니다. 본 연구에서는 Apollo라는 다중 모드 및 시간 기반 기초 모델을 소개합니다. Apollo는 미국 내 주요 병원 시스템에서 수집된 30년 이상의 종단 기록으로 학습 및 평가되었으며, 720만 명의 환자로부터 수집된 250억 건의 기록으로 구성되어 있으며, 28가지의 다양한 의료 모드와 12가지의 주요 의료 전문 분야를 포함합니다. Apollo는 임상 어휘에 포함된 10만 건 이상의 고유한 의료 이벤트뿐만 아니라 이미지와 임상 텍스트를 통합하는 단일화된 표현 공간을 학습합니다. 이 '의료 개념 아틀라스'는 구조화되고 비정형화된 이벤트의 시퀀스로 구성된 전체 환자 치료 여정을 모델링하는 계산 기반을 제공하며, Apollo는 이를 가상 환자 표현으로 압축합니다. 이러한 전체 환자 표현의 잠재력을 평가하기 위해, 140만 명의 환자를 대상으로 한 테스트 데이터 세트에서 322개의 예후 및 검색 작업을 생성했습니다. Apollo 임베딩의 일반화된 임상 예측 잠재력을 보여주며, 여기에는 최대 5년 전에 새로운 질병 발병 위험 예측 (95개 작업), 질병 진행 (78개 작업), 치료 반응 (59개 작업), 치료 관련 부작용 위험 (17개 작업) 및 병원 운영 관련 지표 (12개 작업)가 포함됩니다. 특징 할당 기술을 사용하여 모델 예측이 임상적으로 해석 가능한 다중 모드 바이오마커와 일치함을 보여줍니다. 61개의 검색 작업에 대한 의미적 유사성 검색을 평가하고, 또한 텍스트 및 이미지 쿼리를 사용하여 Apollo가 다중 모드 의료 검색 엔진으로서의 잠재력을 갖추고 있음을 보여줍니다. 이러한 모델링 기능은 계산 가능한 의학의 기반을 확립하며, 이를 통해 환자 치료의 전체 맥락이 계산적 추론에 접근 가능하게 됩니다.

Modern medicine generates vast multimodal data across siloed systems, yet no existing model integrates the full breadth and temporal depth of the clinical record into a unified patient representation. We introduce Apollo, a multimodal temporal foundation model trained and evaluated on over three decades of longitudinal hospital records from a major US hospital system, composed of 25 billion records from 7.2 million patients, representing 28 distinct medical modalities and 12 major medical specialties. Apollo learns a unified representation space integrating over 100 thousand unique medical events in our clinical vocabulary as well as images and clinical text. This "atlas of medical concepts" forms a computational substrate for modeling entire patient care journeys comprised of sequences of structured and unstructured events, which are compressed by Apollo into virtual patient representations. To assess the potential of these whole-patient representations, we created 322 prognosis and retrieval tasks from a held-out test set of 1.4 million patients. We demonstrate the generalized clinical forecasting potential of Apollo embeddings, including predicting new disease onset risk up to five years in advance (95 tasks), disease progression (78 tasks), treatment response (59 tasks), risk of treatment-related adverse events (17 tasks), and hospital operations endpoints (12 tasks). Using feature attribution techniques, we show that model predictions align with clinically-interpretable multimodal biomarkers. We evaluate semantic similarity search on 61 retrieval tasks, and moreover demonstrate the potential of Apollo as a multimodal medical search engine using text and image queries. Together, these modeling capabilities establish the foundation for computable medicine, where the full context of patient care becomes accessible to computational reasoning.