AMRD: 경량 음성 감정 인식 모델을 위한 적응적 다중 교사 지식 증류

AMRD: Adaptive Multi-Teacher Relational Distillation for Lightweight Speech Emotion Recognition

온장치 음성 감정 인식(SER)은 실시간 애플리케이션에 매우 중요하지만, SER 성능이 뛰어난 대규모 자기 지도 학습 모델은 엣지 장치에서 사용하기에 비용이 너무 많이 듭니다. 다중 교사 지식 증류는 이러한 모델을 경량화된 학생 모델로 압축할 수 있지만, 두 가지 문제가 남아 있습니다. 첫째, 각 배치마다 교사의 신뢰도가 달라지고, 둘째, 로짓 수준의 증류는 샘플 간의 관계 구조를 무시합니다. 우리는 이러한 문제를 해결하기 위해 적응적 다중 교사 관계 증류(AMRD)를 제안합니다. 먼저, 각 교사의 로짓 유사성 행렬에 대한 단일 클래스 SVM을 사용하여 배치별 가중치를 할당하여 일관성이 높은 교사를 우선적으로 사용합니다. 또한, 관계 증류 손실 함수는 교사와 학생의 유사성 행렬을 정렬하여 로짓 매칭으로 놓칠 수 있는 구조를 포착합니다. IEMOCAP 및 CREMA-D 데이터 세트에서 네 가지 학생 모델 아키텍처에 대해 AMRD는 대부분의 경우 단일 교사 증류 기반 모델보다 성능이 우수하며, 실험 결과 두 구성 요소 모두 상호 보완적인 이점을 제공하는 것으로 확인되었습니다.

On-device speech emotion recognition (SER) is critical for real-time applications, yet large self-supervised models that excel at SER are too costly for edge devices. Multi-teacher knowledge distillation can compress them into a lightweight student, but two challenges remain: teacher reliability varies across batches, and logit-level distillation ignores inter-sample relational structure. We propose Adaptive Multi-teacher Relational Distillation (AMRD) to address both. A one-class SVM on each teacher's logit similarity matrix assigns per-batch weights favoring more coherent teachers. A relational distillation loss aligns teacher and student similarity matrices, capturing structure that logit matching misses. On IEMOCAP and CREMA-D datasets across four student architectures, AMRD outperforms single-teacher distillation baselines in most settings, and ablations confirm both components yield complementary gains.