불완전한 관찰 데이터를 활용한 다중 모드 감성 분석에서의 모달리티 신뢰도 재고

Rethinking Modality Reliability in Multimodal Sentiment Analysis with Incomplete Observations

다중 모드 감성 분석(MSA)은 텍스트, 오디오 및 시각 정보를 통합하여 인간의 정서를 추론하지만, 실제 환경에서 수집되는 다중 모드 데이터는 종종 불완전합니다. 기존의 불완전한 관찰 데이터를 활용하는 MSA 방법은 크게 두 가지 패러다임을 따릅니다. 재구성 기반 방법은 관찰된 모달리티로부터 누락된 정보를 복원하며, 공동 표현 학습 기반 방법은 불완전한 입력 데이터로부터 직접 학습합니다. 이러한 방법들은 효과적이지만, 일반적으로 모달리티 신뢰도를 표현 학습 또는 융합 설계 과정에서 암묵적으로만 고려하며, 명시적으로 모델링하지 않습니다. 본 논문에서는 불완전한 관찰 환경에서 모달리티 신뢰도가 핵심 변수임을 주장합니다. 이를 명시적으로 모델링하지 않으면 두 가지 문제가 발생할 수 있습니다. 첫째는 신뢰도 불일치(reliability mismatch) 문제로, 각 모달리티가 가진 감정 정보의 양이 샘플 및 누락 비율에 따라 달라집니다. 둘째는 신뢰도 전파 편향(reliability propagation bias) 문제로, 품질이 저하된 모달리티에서 발생하는 정보가 다른 모달리티와의 상호 작용과 예측 성능에 부정적인 영향을 미칠 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 불완전한 관찰 데이터를 활용하는 MSA를 위한 모달리티 신뢰도 보정 프레임워크인 MRCF(Modality Reliability-Calibrated Framework)를 제안합니다. MRCF는 각 샘플에 특화된 모달리티 신뢰도를 내부 품질 지표 및 다중 모드 간 의미 일관성을 통해 추정하는 신뢰도 인식 분기(Reliability-Aware Branch), 추정된 점수를 사용하여 모달리티 간 정보 흐름을 조절하는 신뢰도 기반 상호 작용 분기(Reliability-Guided Interaction Branch), 그리고 신뢰도 및 의미 지표를 통합하여 최종 예측을 수행하는 신뢰도 보정 융합 모듈(Reliability-Calibrated Fusion Module)로 구성됩니다. CMU-MOSI, CMU-MOSEI, CH-SIMS 데이터셋에 대한 실험 결과, MRCF는 표준적인 불완전한 관찰 환경에서 우수한 성능을 달성하는 것으로 나타났습니다. 추가 분석을 통해 명시적인 신뢰도 모델링이 상호 작용 및 융합 과정에서 발생하는 신뢰도 불일치 및 신뢰도 전파 편향을 완화하는 데 도움이 된다는 것을 확인했습니다.

Multimodal Sentiment Analysis (MSA) integrates text, audio, and vision to infer human affect, yet real-world multimodal observations are often incomplete. Existing methods for incomplete-observation MSA mainly follow two paradigms. Reconstruction-based methods recover missing information from observed modalities, while joint-representation methods learn directly from incomplete inputs. Although effective, these methods usually treat modality reliability only implicitly within representation learning or fusion design rather than modeling it explicitly. We argue that modality reliability is a central variable in incomplete-observation settings. Failure to model it explicitly gives rise to two related issues. The first is reliability mismatch, in which the affective evidence retained by each modality varies across samples and missing rates. The second is reliability propagation bias, in which messages from degraded modalities may adversely affect cross-modal interaction and predictive performance. To address these issues, we propose MRCF, a Modality Reliability-Calibrated Framework for MSA with incomplete observations. MRCF contains a Reliability-Aware Branch that estimates sample-specific modality reliability from intramodal quality cues and cross-modal semantic consistency, a Reliability-Guided Interaction Branch that uses the estimated scores to modulate cross-modal information flow, and a Reliability-Calibrated Fusion Module that integrates reliability and semantic cues for final prediction. Experiments on CMU-MOSI, CMU-MOSEI, and CH-SIMS show that MRCF achieves strong performance under standard incomplete-observation protocols. Further analyses provide evidence that explicit reliability modeling helps mitigate reliability mismatch and reliability propagation bias during interaction and fusion.