표면 근전도(EMG)를 이용한 발성 및 비발성 언어 산출 과정에서의 감정 해독

Affect Decoding in Phonated and Silent Speech Production from Surface EMG

감정 표현은 언어적 의사소통의 중요한 부분이지만, 이러한 표현이 언어 생성 과정에 어떻게 연관되는지는 아직 명확하지 않습니다. 근전도(EMG)와 같은 언어 기관의 근육 활동 측정은 음향 분석과 함께 감정이 언어 생성에 어떻게 영향을 미치는지 밝혀낼 수 있습니다. 본 연구에서는 발성 및 비발성 언어 산출 과정 동안 얼굴 및 목 표면 근전도(sEMG)를 사용하여 감정을 해독하는 방법을 연구합니다. 이를 위해, 12명의 참가자가 수행한 3가지 과제에서 얻은 2,780개의 발화 데이터를 포함하는 데이터셋을 구축하고, 다양한 특징 및 모델 임베딩을 사용하여 피험자 내 및 피험자 간 감정 해독 성능을 평가했습니다. 연구 결과는 근전도 표현이 좌절감을 최대 0.845의 AUC 값으로 안정적으로 구별할 수 있으며, 다양한 발성 모드에서도 잘 일반화된다는 것을 보여줍니다. 또한, 추가 분석을 통해 감정 정보가 얼굴 근육 활동에 내재되어 있으며, 발성이 없는 경우에도 유지된다는 것을 확인했습니다. 이는 근전도 센서가 감정을 인식하는 비발성 언어 인터페이스 개발에 잠재력을 가지고 있음을 시사합니다.

The expression of affect is integral to spoken communication, yet, its link to underlying articulatory execution remains unclear. Measures of articulatory muscle activity such as EMG could reveal how speech production is modulated by emotion alongside acoustic speech analyses. We investigate affect decoding from facial and neck surface electromyography (sEMG) during phonated and silent speech production. For this purpose, we introduce a dataset comprising 2,780 utterances from 12 participants across 3 tasks, on which we evaluate both intra- and inter-subject decoding using a range of features and model embeddings. Our results reveal that EMG representations reliably discriminate frustration with up to 0.845 AUC, and generalize well across articulation modes. Our ablation study further demonstrates that affective signatures are embedded in facial motor activity and persist in the absence of phonation, highlighting the potential of EMG sensing for affect-aware silent speech interfaces.