비소세포폐암 다중 모달 생존 예측에서 누락된 모달리티 처리

Handling Missing Modalities in Multimodal Survival Prediction for Non-Small Cell Lung Cancer

비소세포폐암(NSCLC)의 정확한 생존 예측은 다양한 임상, 방사선학적, 조직병리학적 정보를 통합해야 합니다. 다중 모달 딥러닝(MDL)은 정밀한 예후 및 생존 예측에 대한 가능성을 제시하지만, 작은 환자군 크기와 누락된 모달리티의 존재로 인해 임상적 적용 가능성이 심각하게 제한됩니다. 이러한 문제는 종종 완전한 데이터만을 사용하거나 공격적인 대체 방법을 사용하게 만듭니다. 본 연구에서는 CT, 전체 슬라이드 조직병리학(WSI) 이미지 및 구조화된 임상 변수를 통합하여 절제 불가능한 2-3기 NSCLC의 전체 생존 모델링을 위한 누락된 모달리티에 대한 인식을 갖춘 다중 모달 프레임워크를 제시합니다. 제안된 접근 방식은 파운데이션 모델(FM)을 활용하여 모달리티별 특징 추출을 수행하고, 누락된 모달리티에 대한 인식을 갖춘 인코딩 전략을 사용하여, 자연스럽게 불완전한 모달리티 프로필에서도 중간 단계의 다중 모달 융합을 가능하게 합니다. 제안된 아키텍처는 설계상 누락된 모달리티에 강건하며, 모델이 훈련 또는 추론 과정에서 환자를 제외하지 않고 사용 가능한 모든 데이터를 활용할 수 있도록 합니다. 실험 결과는 중간 단계 융합이 단일 모달 기반 모델뿐만 아니라 초기 및 후기 융합 전략보다 우수한 성능을 보임을 보여줍니다. 특히, WSI와 임상 모달리티의 융합이 가장 높은 성능(C-index 73.30)을 달성했습니다. 모달리티 중요도에 대한 추가 분석 결과, CT 모달리티와 같이 정보량이 적은 모달리티가 자동으로 가중치가 낮아져 최종 생존 예측에 미치는 영향이 적다는 것을 확인했습니다.

Accurate survival prediction in Non-Small Cell Lung Cancer (NSCLC) requires the integration of heterogeneous clinical, radiological, and histopathological information. While Multimodal Deep Learning (MDL) offers a promises for precision prognosis and survival prediction, its clinical applicability is severely limited by small cohort sizes and the presence of missing modalities, often forcing complete-case filtering or aggressive imputation. In this work, we present a missing-aware multimodal survival framework that integrates Computed Tomography (CT), Whole-Slide Histopathology (WSI) Images, and structured clinical variables for overall survival modeling in unresectable stage II-III NSCLC. By leveraging Foundation Models (FM) for modality-specific feature extraction and a missing-aware encoding strategy, the proposed approach enables intermediate multimodal fusion under naturally incomplete modality profiles. The proposed architecture is resilient to missing modalities by design, allowing the model to utilize all available data without being forced to drop patients during training or inference. Experimental results demonstrate that intermediate fusion consistently outperforms unimodal baselines as well as early and late fusion strategies, with the strongest performance achieved by the fusion of WSI and clinical modalities (73.30 C-index). Further analyses of modality importance reveal an adaptive behavior in which less informative modalities, i.e., CT modality, are automatically down-weighted and contribute less to the final survival prediction.