TRACE: 시간적 관계 인지 대화적 공감 현상 감지

TRACE: Temporal Relationship-Aware Conversational Entrainment Detection in Dyadic Speech

음성 AI 에이전트의 확산과 함께, 대화 상호작용에서의 정서적 공감 현상을 이해하는 것이 점점 더 중요해지고 있습니다. 정서적 공감은 사회적 관계와 대화 맥락에 의해 형성되며, 시간에 따른 감정적 조율에 영향을 미칩니다. 본 연구에서는 쌍방향 음성 상호작용에서 정서적 공감 현상 감지를 위한 데이터셋인 DyadEE를 소개합니다. 이 데이터셋에는 정서적으로 공감이 이루어진 대화와 함께, 파트너 교체 및 감정 재합성을 통해 공감이 방해된 인공적인 상호작용도 포함되어 있습니다. 또한, 본 연구에서는 TRACE라는 윈도우 기반 프레임워크를 제안합니다. 이 프레임워크는 쌍방향 상호작용을 감정 미세 조정된 Whisper 모델에서 추출한 음향 임베딩의 정렬된 시퀀스로 모델링하며, 각 샘플을 개별적인 발화가 아닌 전체 상호작용 과정을 나타내는 '상호작용 추적(interaction trace)'으로 간주합니다. DyadEE 데이터셋에 대한 실험 결과는 대화 맥락과 관계 정보를 통합하면 정서적 공감 현상 감지가 향상된다는 것을 보여줍니다. TRACE는 97.01%의 최고 정확도를 달성했습니다.

With the proliferation of speech AI agents, understanding emotional entrainment in conversational interaction has become increasingly important. Emotional entrainment is shaped by social relationships and conversational context, influencing affective coordination over time. We introduce DyadEE, a dataset for emotional entrainment detection in dyadic speech interactions, containing both emotionally entrained conversations and synthetic interactions where entrainment is disrupted through partner swapping and emotion resynthesis. We further propose TRACE, a window-level framework that models dyadic interaction as ordered sequences of acoustic embeddings derived from emotion fine-tuned Whisper representations, treating each sample as an interaction trace rather than pooled utterances. Experimental results on DyadEE show that incorporating conversational context and relationship information improves emotional entrainment detection, with TRACE achieving the best accuracy of 97.01%.