자기 지도 학습을 위한 다중 모드 생리학 신호의 시간적 주의력 융합 (CTAF)

Cross-Temporal Attention Fusion (CTAF) for Multimodal Physiological Signals in Self-Supervised Learning

본 연구에서는 뇌파(EEG)와 말초 생리학 신호가 비동기적으로 측정되는 경우의 다중 모드 감정 모델링을 다루며, 대부분의 융합 방법이 무시하거나 비용이 많이 드는 변환을 통해 처리하는 문제를 해결합니다. 우리는 시간 정보를 고려한 교차 주의(time-aware cross attention), 경량 융합 게이트, 그리고 선택적인 약한 지도 학습을 활용한 정렬 규제 대비 학습 목표를 통해 모드 간의 부드러운 양방향 정렬을 학습하고 강력한 임베딩을 구축하는 자기 지도 학습 모듈인 시간적 주의력 융합(CTAF)을 제안합니다. K-EmoCon 데이터셋에서 교차 검증을 통해 CTAF는 일치하는 쌍에 대해 더 높은 코사인 마진을 제공하고, 1초 이내에 더 나은 교차 모드 토큰 검색 성능을 보입니다. 또한, 소량의 레이블만 사용하면서 기준 모델과 비슷한 수준의 세 개의 구간 정확도와 매크로 F1 값을 달성합니다. 본 연구의 주요 기여는 다음과 같습니다: 직접적인 대응 관계를 모델링하는 시간 정보를 고려한 융합 메커니즘, 뇌파 및 생리학 신호에 특화된 정렬 기반 자기 지도 학습 목표, 그리고 정렬 품질 자체를 측정하는 평가 프로토콜. 본 연구는 심리 생리학 시계열 데이터에서 중추 및 자율 신경계 간의 상호 작용을 고려합니다. 이러한 결과는 CTAF가 시간적 비동기 상황에서 레이블 효율적이고 일반화 가능한 뇌파-말초 융합을 위한 강력한 기술임을 시사합니다.

We study multimodal affect modeling when EEG and peripheral physiology are asynchronous, which most fusion methods ignore or handle with costly warping. We propose Cross-Temporal Attention Fusion (CTAF), a self-supervised module that learns soft bidirectional alignments between modalities and builds a robust clip embedding using time-aware cross attention, a lightweight fusion gate, and alignment-regularized contrastive objectives with optional weak supervision. On the K-EmoCon dataset, under leave-one-out cross-validation evaluation, CTAF yields higher cosine margins for matched pairs and better cross-modal token retrieval within one second, and it is competitive with the baseline on three-bin accuracy and macro-F1 while using few labels. Our contributions are a time-aware fusion mechanism that directly models correspondence, an alignment-driven self-supervised objective tailored to EEG and physiology, and an evaluation protocol that measures alignment quality itself. Our approach accounts for the coupling between the central and autonomic nervous systems in psychophysiological time series. These results indicate that CTAF is a strong step toward label-efficient, generalizable EEG-peripheral fusion under temporal asynchrony.