CLoE: 전문가 일관성 학습을 통한 누락된 모달리티 분할

CLoE: Expert Consistency Learning for Missing Modality Segmentation

다중 모달 의료 영상 분할은 추론 과정에서 모달리티가 누락되는 경우가 흔하며, 이는 모달리티별 전문가 간의 의견 불일치를 야기하고, 특히 작은 전경 구조에 대한 융합을 불안정하게 만듭니다. 본 연구에서는 누락된 모달리티 분할을 위한 일관성 기반 프레임워크인 Consistency Learning of Experts (CLoE)를 제안합니다. CLoE는 모든 모달리티가 존재하는 경우에도 높은 성능을 유지하며, 강건성을 의사 결정 수준의 전문가 일관성 제어를 통해 달성합니다. 모달리티 전문가 일관성은 부분적인 입력에서 발생하는 사례별 편차를 줄이기 위해 전문가 예측 간의 전반적인 합의를 강화하고, 영역 전문가 일관성은 임상적으로 중요한 전경 영역에서의 합의를 강조하여 배경에 의해 지배되는 규제를 방지합니다. 또한, 경량화된 게이팅 네트워크를 사용하여 일관성 점수를 모달리티 신뢰도 가중치로 매핑하여, 융합 전에 신뢰도 기반의 특징 재조정을 가능하게 합니다. BraTS 2020 및 MSD Prostate 데이터셋에 대한 광범위한 실험 결과, CLoE는 불완전한 다중 모달 분할에서 최첨단 방법보다 우수한 성능을 보이며, 강력한 교차 데이터셋 일반화 능력을 보여주고, 임상적으로 중요한 구조에 대한 강건성을 향상시킵니다.

Multimodal medical image segmentation often faces missing modalities at inference, which induces disagreement among modality experts and makes fusion unstable, particularly on small foreground structures. We propose Consistency Learning of Experts (CLoE), a consistency-driven framework for missing-modality segmentation that preserves strong performance when all modalities are available. CLoE formulates robustness as decision-level expert consistency control and introduces a dual-branch Expert Consistency Learning objective. Modality Expert Consistency enforces global agreement among expert predictions to reduce case-wise drift under partial inputs, while Region Expert Consistency emphasizes agreement on clinically critical foreground regions to avoid background-dominated regularization. We further map consistency scores to modality reliability weights using a lightweight gating network, enabling reliability-aware feature recalibration before fusion. Extensive experiments on BraTS 2020 and MSD Prostate demonstrate that CLoE outperforms state-of-the-art methods in incomplete multimodal segmentation, while exhibiting strong cross-dataset generalization and improving robustness on clinically critical structures.