MERaLiON-GR: 영어 및 동남아시아 언어 음성 성별 인식 모델

MERaLiON-GR: Speech Gender Recognition Model for English and SEA Languages

본 논문에서는 영어 및 동남아시아(SEA) 언어에 대한 이진 분류(여성/남성)를 수행하는 음성 성별 인식 시스템인 MERaLiON-GR을 소개합니다. 본 모델은 다양한 음성 데이터셋으로 사전 훈련된 대규모 컨포머 기반 트랜스포머인 MERaLiON-SpeechEncoder-2를 미세 조정하고, Low-Rank Adaptation (LoRA)를 통해 파라미터 효율적인 미세 조정을 적용하여 인코더를 성별 인식 작업에 적응시킵니다. 또한, 어텐션 풀링과 경량 선형 분류기를 갖춘 멀티 스케일 ECAPA-TDNN 다운스트림 네트워크를 추가합니다. 싱가포르 및 동남아시아의 다양한 언어(영어, 중국어, 말레이어, 타밀어, 태국어, 베트남어, 인도네시아어, 캄보디아어)에 대한 광범위한 평가 결과, MERaLiON-GR은 전체 발화 수준과 세그먼트 수준 모두에서 기존 최고 성능 모델인 Vox-Profile 및 대규모 Audio-LLM을 꾸준히 능가하는 것으로 나타났습니다. 이러한 결과는 정확한 비언어적 이해를 달성하고 강력한 교차 언어 일반화를 구현하는 데 특수 음성 모델의 가치를 강조합니다.

We present MERaLiON-GR, a speech gender recognition system that performs binary classification (female / male) on English and Southeast Asian (SEA) languages. The model finetunes MERaLiON-SpeechEncoder-2, a large conformer based transformer pre-trained on a broad speech corpus, and applies parameter efficient fine-tuning via Low-Rank Adaptation (LoRA) to adapt the encoder to the gender recognition task, and appends a multi-scale ECAPA-TDNN down stream network with attention pooling and a lightweight linear classifier. Extensive evaluations across multilingual Singaporean and Southeast Asian languages (English, Chinese, Malay, Tamil, Thai, Vietnamese, Indonesian, and Khmer) show that MERaLiON-GR consistently surpasses the state-of-the-art gender recognition model Vox-Profile and a large Audio-LLM, in both full-utterance and segment level evaluation modes. The results underscore the value of dedicated speech models in achieving accurate paralinguistic understanding and strong cross-lingual generalization.