다중 모드 분류에서의 누락된 임의의 모드에 대한 공동 학습

Co-Learning for Missing Arbitrary Modalities in Multi-modal Classification

다중 모드 분류는 다양한 데이터 소스 간의 상호 보완적인 정보를 활용하여 예측 성능을 향상시킵니다. 그러나 센서 오류나 개인 정보 보호 제한과 같은 운영상의 제약으로 인해 훈련 및 추론 시기에 모드의 가용성이 일관되지 않은 경우가 발생합니다. 누락된 모드를 처리하기 위해 기존 연구는 주로 이중 모드 데이터 설정에 초점을 맞추고, 강력한 융합 프로세스를 설계하는 데 집중했습니다. 본 연구에서는 다중 모드 융합보다는 모드 간 협력을 우선시하는 다중 모드 공동 학습 프레임워크를 채택합니다. 특히, 미리 정의된 누락 패턴을 가정하지 않고 모든 모드의 부분집합이 누락될 수 있는 상황, 즉 '누락된 임의의 모드'라는 추론 시나리오를 고려합니다. 이러한 문제를 해결하기 위해 특징 수준과 의사 결정 수준 모두에서 정보를 활용하는 두 가지 대안적인 방법을 제안합니다. 두 개의 다중 모드 분류 벤치마크에 대한 실험 결과, 다양한 누락된 모드 조건에서 상당한 견고성 향상이 있음을 보여줍니다. 첫 번째 방법은 단일 모드가 누락된 최소한의 누락 조건 하에서 더 강력한 성능을 보이며, 두 번째 방법은 거의 모든 모드가 누락된 극단적인 누락 조건 하에서 더 나은 성능을 보입니다. 본 연구의 코드는 https://github.com/fmenat/Co4Miss 에서 확인할 수 있습니다.

Multi-modal classification leverages complementary information across diverse data sources to enhance predictive performance. However, real-world scenarios subject to operational constraints, such as sensor failures or privacy restrictions, lead to inconsistent modality availability between training and inference times. To handle missing modalities, prior studies have mainly covered bimodal data setups and focused on designing robust fusion processes. Instead, we adopt a multi-modal co-learning framework that prioritizes inter-modal collaboration rather than multi-modal fusion. Specifically, we consider that any subset of modalities may be absent, without assuming predefined missing-modality patterns, an inference scenario we refer to as missing arbitrary modalities. To address this challenge, we introduce two alternative approaches that leverage information at both feature- and decision-level. Experiments on two multi-modal classification benchmarks demonstrate significant robustness gains in various missing modality conditions. The first method shows more robust behavior under minimal missing conditions, where a single modality is absent, whereas the second performs better under extreme missing conditions, where all-but-one modalities are missing. Our code is available at https://github.com/fmenat/Co4Miss.