모달리티 균형 및 안정성 향상을 위한 충돌 인식 페널티 및 통계적 손실 프레임워크: 다중 모드 감성 분석

A Conflict-Aware Penalty and Statistical Loss Framework for Balancing Modalities and Enhancing Stability in Multimodal Sentiment Analysis

다중 모드 감성 분석(MSA)은 텍스트, 음향, 시각 정보를 결합하여 감성을 추론합니다. 사전 학습된 텍스트 인코더는 음향 및 시각 정보보다 표현력이 훨씬 뛰어나기 때문에 텍스트 모달리티가 최적화 과정을 지배하며, 이는 약한 모달리티를 억제하고 기울기 크기 충돌을 유발하여 학습의 안정성을 저해합니다. 이러한 문제를 해결하기 위해, 우리는 각 학습 단계에서 기울기 크기 충돌을 감지하고 페널티를 부여하는 '충돌 인식 페널티(CP)'와 예측된 분포 통계치를 실제 입력 통계치에 맞추는 '통계적 손실(SL)'을 제안합니다. 특히, CP는 지배적인 모달리티의 기울기가 SL 목적 함수에 간섭하지 않도록 방지하여, 적응형 모달리티 인코딩, 게이트된 교차 모드 융합 및 단일 모드 보조 네트워크를 통합한 통일된 프레임워크 내에서 시너지 효과를 발휘하는 학습을 가능하게 합니다. CMU-MOSI 데이터셋에 대한 실험 결과는 최고 수준의 성능을 보여주며, 각 구성 요소의 효과성을 확인하는 분석 연구도 함께 수행했습니다.

Multimodal Sentiment Analysis (MSA) fuses text, acoustic, and visual streams to infer sentiment. Because pre-trained text encoders are far more expressive than their acoustic and visual counterparts, the text modality tends to dominate optimization, suppressing weaker modalities and inducing gradient norm conflicts that destabilize training. To address this, we propose a Conflict-aware Penalty (CP) that detects and penalizes gradient norm conflicts at each training step, and a Statistical Loss (SL) that aligns predicted distribution statistics with empirical input statistics. Crucially, CP prevents dominant modality gradients from interfering with the SL objective, enabling synergistic training within a unified framework incorporating adaptive modality encoding, gated cross-modal fusion, and unimodal auxiliary heads. Experiments on CMU-MOSI demonstrate state-of-the-art performance, with ablation studies confirming the effectiveness of each component.