PRIME: 프로토타입 기반 다중 모드 사전 학습을 통한 암 진단 예측 모델 (결측 모드 데이터 지원)

PRIME: Prototype-Driven Multimodal Pretraining for Cancer Prognosis with Missing Modalities

다중 모드 자기 지도 학습은 조직병리학 슬라이드 이미지, 유전자 발현, 병리 보고서 등 다양한 데이터를 통합하여 암 진단 예측에 유망한 접근 방식이지만, 대부분의 기존 방법은 완전하게 연결된 데이터를 필요로 합니다. 실제 임상 데이터는 종종 분산되어 있으며, 하나 이상의 모드가 누락되는 경우가 많아, 지도 학습 기반 융합 및 확장 가능한 다중 모드 사전 학습에 제약을 초래합니다. 본 연구에서는 PRIME이라는 결측 데이터에 대한 인식을 갖춘 다중 모드 자기 지도 학습 프레임워크를 제안합니다. PRIME은 이질적인 모드 임베딩을 통합된 토큰 공간으로 매핑하고, 환자 수준의 합의 검색을 통해 잠재 공간에서 의미를 추론할 수 있는 공유 프로토타입 메모리 뱅크를 도입하여, 원시 신호를 재구성하지 않고 구조적으로 일관된 토큰을 생성합니다. 구조적 결측 데이터 증강을 통한 모드 간 정렬 및 사후 융합 일관성이라는 두 가지 상호 보완적인 사전 학습 목표를 통해, 임의의 모드 하위 집합에서도 예측 성능을 유지하는 표현을 학습합니다. 본 연구에서는 The Cancer Genome Atlas 데이터셋을 사용하여 32가지 암 유형에 대해 레이블 없이 사전 학습을 수행하고, 5가지 코호트에서 5-fold 교차 검증을 통해 전체 생존 예측, 3년 사망 분류, 3년 재발 분류의 성능을 평가했습니다. PRIME은 비교 대상 방법 중 가장 높은 평균 성능(C-index: 0.653, AUROC: 0.689, AUROC: 0.637)을 달성했으며, 테스트 시 결측 데이터에 대한 강건성을 향상시키고, 파라미터 효율적이고 레이블 효율적인 적응을 지원합니다. 이러한 결과는 결측 데이터에 대한 인식을 갖춘 다중 모드 사전 학습이 파편화된 임상 데이터 환경에서 진단 예측 모델링을 위한 실용적인 전략임을 시사합니다.

Multimodal self-supervised pretraining offers a promising route to cancer prognosis by integrating histopathology whole-slide images, gene expression, and pathology reports, yet most existing approaches require fully paired and complete inputs. In practice, clinical cohorts are fragmented and often miss one or more modalities, limiting both supervised fusion and scalable multimodal pretraining. We propose PRIME, a missing-aware multimodal self-supervised pretraining framework that learns robust and transferable representations from partially observed cohorts. PRIME maps heterogeneous modality embeddings into a unified token space and introduces a shared prototype memory bank for latent-space semantic imputation via patient-level consensus retrieval, producing structurally aligned tokens without reconstructing raw signals. Two complementary pretraining objectives: inter-modality alignment and post-fusion consistency under structured missingness augmentation, jointly learn representations that remain predictive under arbitrary modality subsets. We evaluate PRIME on The Cancer Genome Atlas with label-free pretraining on 32 cancer types and downstream 5-fold evaluation on five cohorts across overall survival prediction, 3-year mortality classification, and 3-year recurrence classification. PRIME achieves the best macro-average performance among all compared methods, reaching 0.653 C-index, 0.689 AUROC, and 0.637 AUROC on the three tasks, respectively, while improving robustness under test-time missingness and supporting parameter-efficient and label-efficient adaptation. These results support missing-aware multimodal pretraining as a practical strategy for prognosis modeling in fragmented clinical data settings.