CLCR: 다중 모드 학습을 위한 레벨 간 의미적 협력 표현

CLCR: Cross-Level Semantic Collaborative Representation for Multimodal Learning

다중 모드 학습은 여러 모드에서 공유되는 정보와 고유한 정보를 모두 파악하는 것을 목표로 합니다. 그러나 기존 방법은 종종 모든 모드를 단일 잠재 공간으로 투영하여 융합하는데, 이는 다중 모드 데이터의 비동기적이고 다층적인 의미 구조를 간과하게 됩니다. 이러한 간과로 인해 의미적 불일치와 오류 전파가 발생하여 표현 품질이 저하됩니다. 이러한 문제를 해결하기 위해, 우리는 각 모드의 특징을 세 단계의 의미적 계층 구조로 명시적으로 구성하고, 단계별로 모달 간 상호 작용에 대한 제약을 지정하는 Cross-Level Co-Representation (CLCR)을 제안합니다. 먼저, 의미적 계층 구조 인코더는 얕은, 중간, 깊은 특징들을 모드 간에 정렬하여 상호 작용을 위한 공통 기반을 구축합니다. 그리고 각 단계에서, Intra-Level Co-Exchange Domain (IntraCED)은 특징들을 공유 및 고유 부분 공간으로 분해하고, 학습 가능한 토큰 예산을 통해 공유 부분 공간에 대한 모달 간 주의를 제한합니다. 이러한 설계는 공유된 의미 정보만 교환되도록 하고, 고유 채널로부터의 정보 유출을 방지합니다. 또한, Inter-Level Co-Aggregation Domain (InterCAD)은 학습된 앵커를 사용하여 의미적 규모를 동기화하고, 공유된 표현을 선택적으로 융합하며, 고유 단서를 게이팅하여 간결한 작업 표현을 형성합니다. 우리는 또한 공유 및 고유 특징의 분리를 강화하고, 레벨 간 간섭을 최소화하기 위한 정규화 항을 추가했습니다. 감정 인식, 이벤트 위치 추정, 감성 분석 및 동작 인식 등 6개의 벤치마크에 대한 실험 결과, CLCR은 강력한 성능을 보이며 다양한 작업에서 잘 일반화되는 것을 확인했습니다.

Multimodal learning aims to capture both shared and private information from multiple modalities. However, existing methods that project all modalities into a single latent space for fusion often overlook the asynchronous, multi-level semantic structure of multimodal data. This oversight induces semantic misalignment and error propagation, thereby degrading representation quality. To address this issue, we propose Cross-Level Co-Representation (CLCR), which explicitly organizes each modality's features into a three-level semantic hierarchy and specifies level-wise constraints for cross-modal interactions. First, a semantic hierarchy encoder aligns shallow, mid, and deep features across modalities, establishing a common basis for interaction. And then, at each level, an Intra-Level Co-Exchange Domain (IntraCED) factorizes features into shared and private subspaces and restricts cross-modal attention to the shared subspace via a learnable token budget. This design ensures that only shared semantics are exchanged and prevents leakage from private channels. To integrate information across levels, the Inter-Level Co-Aggregation Domain (InterCAD) synchronizes semantic scales using learned anchors, selectively fuses the shared representations, and gates private cues to form a compact task representation. We further introduce regularization terms to enforce separation of shared and private features and to minimize cross-level interference. Experiments on six benchmarks spanning emotion recognition, event localization, sentiment analysis, and action recognition show that CLCR achieves strong performance and generalizes well across tasks.