CosyAccent: 소스 합성 훈련 데이터를 활용한 지속 시간 제어가 가능한 억양 정규화

CosyAccent: Duration-Controllable Accent Normalization Using Source-Synthesis Training Data

억양 정규화(AN) 시스템은 종종 최적화되지 않은 훈련 데이터와 경직된 지속 시간 모델링으로 인해 부자연스러운 출력과 원치 않는 콘텐츠 왜곡 문제를 겪는다. 본 논문에서는 훈련 데이터 구축을 위한 "소스 합성(source-synthesis)" 방법론을 제안한다. 소스 L2 음성을 생성하고 실제 원어민 음성을 훈련 타깃으로 사용함으로써, 제안하는 접근법은 TTS 아티팩트를 학습하는 것을 방지하며, 결정적으로 훈련 시 실제 L2 데이터를 필요로 하지 않는다. 이러한 데이터 전략과 함께, 우리는 운율적 자연스러움과 지속 시간 제어 간의 트레이드오프를 해결하는 비자기회귀(non-autoregressive) 모델인 CosyAccent를 소개한다. CosyAccent는 유연성을 위해 리듬을 암시적으로 모델링하면서도 전체 출력 지속 시간에 대해서는 명시적인 제어를 제공한다. 실험 결과, 실제 L2 음성 없이 훈련되었음에도 불구하고 CosyAccent는 실제 환경의 데이터로 훈련된 강력한 베이스라인 모델들에 비해 유의미하게 향상된 콘텐츠 보존력과 뛰어난 자연스러움을 달성함을 보여준다.

Accent normalization (AN) systems often struggle with unnatural outputs and undesired content distortion, stemming from both suboptimal training data and rigid duration modeling. In this paper, we propose a "source-synthesis" methodology for training data construction. By generating source L2 speech and using authentic native speech as the training target, our approach avoids learning from TTS artifacts and, crucially, requires no real L2 data in training. Alongside this data strategy, we introduce CosyAccent, a non-autoregressive model that resolves the trade-off between prosodic naturalness and duration control. CosyAccent implicitly models rhythm for flexibility yet offers explicit control over total output duration. Experiments show that, despite being trained without any real L2 speech, CosyAccent achieves significantly improved content preservation and superior naturalness compared to strong baselines trained on real-world data.