MissMAC-Bench: 강건한 멀티모달 감성 컴퓨팅에서의 결측 모달리티 문제를 위한 견고한 벤치마크 구축

MissMAC-Bench: Building Solid Benchmark for Missing Modality Issue in Robust Multimodal Affective Computing

이종 데이터 소스에 대한 지식 발견 작업으로서, 현재의 멀티모달 감성 컴퓨팅(MAC)은 인간의 감정 상태를 정확하게 이해하기 위해 다중 모달리티의 완전성에 크게 의존합니다. 그러나 실제 시나리오에서 모달리티 데이터의 가용성은 종종 동적이고 불확실하며, 이는 불완전한 멀티모달 입력의 분포 변화와 의미적 결핍으로 인한 상당한 성능 변동을 초래합니다. 결측 모달리티 문제로 알려진 이 과제는 MAC 모델의 강건성과 실제 배포에 있어 중대한 장벽이 됩니다. 이 문제를 체계적으로 정량화하기 위해, 우리는 교차 모달 시너지 관점에서 공정하고 통일된 평가 기준을 수립하도록 설계된 포괄적인 벤치마크인 MissMAC-Bench를 소개합니다. 더 나은 일반화를 보장하기 위해 두 가지 지침 원칙이 제안되는데, 이는 훈련 중 결측 사전 정보가 없어야 한다는 것과, 하나의 단일 모델이 완전한 모달리티 시나리오와 불완전한 모달리티 시나리오를 모두 처리할 수 있어야 한다는 것을 포함합니다. 또한 학술 연구와 실제 응용 분야 간의 격차를 해소하기 위해, 우리의 벤치마크는 데이터셋 및 인스턴스 수준에서 고정 및 무작위 결측 패턴을 모두 포함하는 평가 프로토콜을 통합합니다. 4개의 데이터셋에 걸쳐 널리 사용되는 3가지 언어 모델에 대해 수행된 광범위한 실험은 결측 모달리티 문제를 해결하는 데 있어 다양한 MAC 접근 방식의 유효성을 검증합니다. 우리의 벤치마크는 강건한 멀티모달 감성 컴퓨팅을 발전시키기 위한 견고한 기반을 제공하며 멀티미디어 데이터 마이닝의 발전을 촉진합니다.

As a knowledge discovery task over heterogeneous data sources, current Multimodal Affective Computing (MAC) heavily rely on the completeness of multiple modalities to accurately understand human's affective state. However, in real-world scenarios, the availability of modality data is often dynamic and uncertain, leading to substantial performance fluctuations due to the distribution shifts and semantic deficiencies of the incomplete multimodal inputs. Known as the missing modality issue, this challenge poses a critical barrier to the robustness and practical deployment of MAC models. To systematically quantify this issue, we introduce MissMAC-Bench, a comprehensive benchmark designed to establish fair and unified evaluation standards from the perspective of cross-modal synergy. Two guiding principles are proposed, including no missing prior during training, and one single model capable of handling both complete and incomplete modality scenarios, thereby ensuring better generalization. Moreover, to bridge the gap between academic research and real-world applications, our benchmark integrates evaluation protocols with both fixed and random missing patterns at the dataset and instance levels. Extensive experiments conducted on 3 widely-used language models across 4 datasets validate the effectiveness of diverse MAC approaches in tackling the missing modality issue. Our benchmark provides a solid foundation for advancing robust multimodal affective computing and promotes the development of multimedia data mining.