TIER-MoE: 신뢰 기반 전문가 라우팅 - 조건부 모달리티 위험을 통한 생물 의학 분류에서의 다중 모드 융합

TIER-MoE: Trust-Informed Expert Routing via Conditional Modality Risk for Multimodal Fusion in Biomedical Classification

다중 모드 융합은 상호 보완적인 정보 소스를 결합하여 잠재력을 가지고 있지만, 더 많은 정보가 항상 더 나은 예측 결과를 가져오는 것은 아닙니다. 최근의 다중 모드 모델들은 풍부한 교차 모드 상호 작용과 샘플 적응형 융합을 통해 융합 방식을 발전시켜 왔습니다. 그러나 융합 과정에서 특정 모드에 부여되는 영향력은 해당 정보 소스가 신뢰할 수 없는지, 중복인지, 아니면 특정 전문가에게 잘 맞지 않는지를 나타내지 못합니다. 이러한 한계를 해결하기 위해, 우리는 TIER-MoE를 제안합니다. TIER-MoE는 위험 기반의 부분 공간 혼합 전문가 모델로, 샘플별 모달리티 신뢰도를 해당 모달리티 예측기의 예상 손실 값으로 정의합니다. 이 위험은 해당 샘플에 대해 학습되지 않은 모델이 생성한 폴드 외부 예측으로부터 학습됩니다. TIER-MoE는 추정된 위험과 전문가별 부분 공간 호환성을 결합하여 희소한 모달리티-전문가 라우팅을 수행하며, 항상 활성화되는 공유 경로를 통해 다중 모드의 상호 보완적인 특성을 유지합니다. 우리는 TIER-MoE를 알츠하이머병 상태, 피부 병변 악성 여부 및 망막 분류를 포함하는 네 가지 공개된 다중 모드 생물 의학 데이터 세트에서 평가했습니다. 결과는 예측 성능과 확률 교정 측면에서 최첨단 방법보다 우수하며, Macro-F1 점수와 Brier 점수가 일관되게 향상되었으며 외부 코호트에 대한 강력한 제로샷 일반화 능력을 보여주었습니다.

The promise of multimodal fusion lies in combining complementary sources of evidence, yet more evidence does not always yield a better prediction. Recent multimodal models have advanced fusion through richer cross-modal interaction and sample-adaptive fusion. However, the influence assigned to a modality during fusion does not reveal whether that source is unreliable, redundant, or poorly matched to a specialized expert. To address this limitation, we introduce TIER-MoE, a risk-guided subspace mixture-of-experts model that defines sample-specific modality reliability as the prediction loss its unimodal predictor is expected to incur. This risk is learned from out-of-fold predictions generated by models that were not trained on the corresponding sample. TIER-MoE combines the estimated risk with expert-specific subspace compatibility for sparse modality-expert routing, while an always-active shared path preserves multimodal complementarity. We evaluate TIER-MoE on four public multimodal biomedical datasets spanning Alzheimer's disease status, skin-lesion malignancy, and retinal classification. Results demonstrate its superiority over state-of-the-art methods in predictive performance and probability calibration, with consistent improvements in Macro-F1 and Brier score and strong zero-shot generalization to an external cohort.