이중 축 모달성 결손을 갖는 다중 모드 연합 학습

Multimodal Federated Learning under Dual-Axis Modality Missingness

다중 모드 연합 학습(FL)은 개인 정보 보호가 중요한 의료 및 건강 센서 환경에서 협업 모델링을 지원하지만, 실제 적용 시에는 종종 이중 축의 모달성 결손이 발생합니다. 즉, 클라이언트는 서로 다른 모드 집합을 가지고 있으며, 개별 샘플은 로컬에서 사용 가능한 모든 모드를 포함하지 않을 수 있습니다. 기존 방법들은 일반적으로 이러한 두 가지 축을 별도로 처리합니다. 본 논문에서는 Flux라는 다중 모드 연합 학습 프레임워크를 제안하며, 이는 상호 보완적인 두 가지 구성 요소로 이루어져 있습니다. 첫째, 모드 인식 신뢰 조정(modality-aware confidence tempering)은 마스크 기반의 단일 모드 감독을 통해 각 모드에 대한 샘플별 신뢰도를 학습하고, 관찰된 모드에서 얻은 신뢰도 추정치를 샘플 적응형 온도(sample-adaptive temperature)로 융합하여 예측 정확도를 조정합니다. 이 온도는 증거 품질 및 완전성에 따라 조절됩니다. 둘째, 기울기 분리 개인 맞춤 최적화(gradient-decoupled private adaptation)는 이러한 온도를 클라이언트의 개인 영역인 예측 경로에만 적용하고, 공유 연합 모델은 표준적인, 온도 조정을 하지 않은 목표 함수를 사용하여 학습합니다. 이를 통해 샘플별, 클라이언트 로컬 신뢰도 적응이 가능하면서도 신뢰도 의존적인 기울기가 공유 표현 학습을 방해하지 않도록 합니다. 네 가지 다중 모드 데이터 세트에서 Flux는 모든 데이터 세트에서 가장 높은 평균 매크로 F1 점수를 달성했으며, 가장 강력한 데이터 세트별 기준 모델보다 0.8~2.2 포인트 더 높고, 평균적으로 1.6 포인트 더 높았습니다. 추가적인 분석 결과, Flux는 우수한 교정 성능, 모달성 결손 및 입력 왜곡에 대한 온도 민감도, 그리고 개인 영역 최적화 하에서의 더욱 안정적인 공유 최적화를 보여주었습니다. 본 논문의 코드는 https://github.com/AdibaOrz/Flux 에서 확인할 수 있습니다.

Multimodal federated learning (FL) supports collaborative modeling in privacy-sensitive health-sensing and medical settings, but realistic deployments often exhibit dual-axis modality missingness: clients have different modality sets, and individual samples may contain only subsets of the modalities available locally. Existing methods typically address these two axes separately. We propose Flux, a multimodal federated learning framework built around two complementary components. First, modality-aware confidence tempering learns sample-specific confidence for each modality through mask-aware unimodal supervision and fuses the confidence estimates from observed modalities into a sample-adaptive temperature that adjusts predictive sharpness according to evidence quality and completeness. Second, gradient-decoupled private adaptation applies this temperature only to a client-private prediction pathway, while training the shared federated model with a standard, untempered objective. This enables sample-specific, client-local confidence adaptation without allowing confidence-dependent gradients to perturb shared representation learning. Across four multimodal datasets, Flux achieves the highest average macro-F1 on every dataset, outperforming the strongest dataset-specific baseline by 0.8~2.2 points and by 1.6 points on average. Additional analyses demonstrate favorable calibration, temperature sensitivity to both modality missingness and input corruption, and more stable shared optimization under private-only tempering. Our code is available at https://github.com/AdibaOrz/Flux.