환자는 움직이는 문서가 아니다: 종단적 EHR을 위한 월드 모델 학습 패러다임

The Patient is not a Moving Document: A World Model Training Paradigm for Longitudinal EHR

다음 단어 예측 방식으로 훈련된 거대언어모델(LLM)은 임상 파운데이션 모델로서 성공적인 성과를 거두었습니다. 이러한 언어 백본(backbone)에서 추출한 표현(representation)은 여러 생물의학 작업에서 강력한 선형 프로브(linear probe) 성능을 보여주며, 이는 대규모 다음 토큰 예측 과정에서 환자에 대한 의미론적 정보가 창발함을 시사합니다. 그러나 이러한 패러다임은 환자를 시뮬레이션해야 할 동적 시스템이 아니라 요약해야 할 문서로 취급한다는 한계가 있습니다. 환자의 궤적은 개입과 시간의 흐름에 따라 진화하는 상태에서 비롯되므로, 단순한 토큰 예측이 아닌 역학(dynamics)을 시뮬레이션하는 모델이 필요합니다. 이를 해결하기 위해 우리는 구조화된 EHR을 위한 월드 모델인 SMB-Structure를 제안합니다. 이 모델은 다음 토큰 예측(SFT)을 통해 결합 임베딩 예측 아키텍처(JEPA)의 기반을 마련합니다. SFT는 모델이 토큰 공간에서 미래의 환자 상태를 재구성하도록 하는 반면, JEPA는 초기 환자 표현만으로 잠재 공간(latent space)에서 미래를 예측하여 다음 상태가 관측되기 전에 궤적의 역학 정보가 인코딩되도록 강제합니다. 우리는 Memorial Sloan Kettering(종양 환자 23,319명, 323,000 환자-년 이상)과 INSPECT(폐색전증 환자 19,402명)라는 두 가지 대규모 코호트에서 모델을 검증했습니다. 질병 궤적의 여러 시점에서 평가된 선형 프로브를 통해, 우리는 이 학습 패러다임이 자기회귀(autoregressive) 베이스라인으로는 포착할 수 없는 질병 역학을 담은 임베딩을 학습함을 입증했습니다. 이를 통해 SMB-Structure는 환자의 이질성이 높은 복잡한 작업에서도 경쟁력 있는 성능을 달성했습니다. 모델 가중치는 https://huggingface.co/standardmodelbio/SMB-v1-1.7B-Structure 에서 확인할 수 있습니다.

Large language models (LLMs) trained with next-word-prediction have achieved success as clinical foundation models. Representations from these language backbones yield strong linear probe performance across biomedical tasks, suggesting that patient semantics emerge from next-token prediction at scale. However, this paradigm treats patients as a document to be summarized rather than a dynamical system to be simulated; a patient's trajectory emerges from their state evolving under interventions and time, requiring models that simulate dynamics rather than predict tokens. To address this, we introduce SMB-Structure, a world model for structured EHR that grounds a joint-embedding prediction architecture (JEPA) with next-token prediction (SFT). SFT grounds our model to reconstruct future patient states in token space, while JEPA predicts those futures in latent space from the initial patient representation alone, forcing trajectory dynamics to be encoded before the next state is observed. We validate across two large-scale cohorts: Memorial Sloan Kettering (23,319 oncology patients; 323,000+ patient-years) and INSPECT (19,402 pulmonary embolism patients). Using a linear probe evaluated at multiple points along the disease trajectory, we demonstrate that our training paradigm learns embeddings that capture disease dynamics not recoverable by autoregressive baselines, enabling SMB-Structure to achieve competitive performance on complex tasks characterized by high patient heterogeneity. Model weights are available at https://huggingface.co/standardmodelbio/SMB-v1-1.7B-Structure.