표준 중국어 발음과 억양을 가진 중국어 발음, 그리고 그 음성 복제 간의 음향 및 인지적 차이

Acoustic and perceptual differences between standard and accented Chinese speech and their voice clones

음성 복제는 일반적으로 전반적인 품질 측면에서 평가되지만, 억양 보존 및 그에 따른 인지적 영향에 대한 연구는 부족합니다. 본 연구에서는 계산적 분석과 인지적 평가를 결합하여 표준 중국어 발음과 강한 억양을 가진 중국어 발음, 그리고 각각의 음성 복제를 비교했습니다. 임베딩 기반 분석 결과, 시스템 전반적으로 원본과 복제 간의 거리에 있어 억양 유무에 따른 유의미한 차이는 나타나지 않았습니다. 인지적 평가에서는 복제된 음성이 표준 발음 화자의 경우 억양 화자보다 원본 음성과 더 유사하다고 평가되었으며, 원본 음성에서 복제 음성으로 전환될 때 가독성이 향상되었고, 특히 억양을 가진 음성의 경우 가독성 향상 폭이 더 컸습니다. 이러한 결과는 억양의 변화가 음성 복제 시 인지된 화자 동일성 및 가독성에 영향을 미칠 수 있으며, 이러한 영향이 일반적인 화자 임베딩 거리 측정 방식으로 나타나지 않을 수 있음을 보여줍니다. 따라서 화자 동일성 보존과 억양 보존을 별개의 차원으로 평가하는 것이 중요하다는 점을 시사합니다.

Voice cloning is often evaluated in terms of overall quality, but less is known about accent preservation and its perceptual consequences. We compare standard and heavily accented Mandarin speech and their voice clones using a combined computational and perceptual design. Embedding-based analyses show no reliable accented-standard difference in original-clone distances across systems. In the perception study, clones are rated as more similar to their originals for standard than for accented speakers, and intelligibility increases from original to clone, with a larger gain for accented speech. These results show that accent variation can shape perceived identity match and intelligibility in voice cloning even when it is not reflected in an off-the-shelf speaker-embedding distance, and they motivate evaluating speaker identity preservation and accent preservation as separable dimensions.