PilotTTS: 경쟁력 있는 음성 합성 시스템을 위한 체계적인 모듈화 방식

PilotTTS: A Disciplined Modular Recipe for Competitive Speech Synthesis

최첨단 텍스트 음성 변환(TTS) 시스템 구축은 일반적으로 수백만 시간 분량의 독점 데이터와 복잡한 다단계 아키텍처를 필요로 하며, 이는 자원이 부족한 연구팀에게 상당한 장벽이 됩니다. 본 논문에서는 최소한의 아키텍처와 엄격한 데이터 엔지니어링을 통해 경쟁력 있는 성능을 달성하는 경량 오토 회귀 TTS 시스템인 PilotTTS를 소개합니다. PilotTTS는 오픈 소스 도구만을 사용하여 처리된 20만 시간 분량의 데이터로 학습되었습니다. 구체적인 기여 내용은 다음과 같습니다: (1) 품질 평가, 라벨 주석 및 필터링을 포함하는 재현 가능한 다단계 데이터 처리 파이프라인, 그리고 (2) Q-Former 기반 컨디셔닝을 사용하여 교차 샘플 페어링 학습을 통해 화자 정보와 발화 스타일을 분리하는 컴팩트한 모델 아키텍처. 통합 프레임워크 내에서 PilotTTS는 제로샷 음성 복제, 감정 합성 (11개 카테고리), 비언어적 표현 합성 (4개 카테고리) 및 중국 방언 합성 (14개 방언)을 지원합니다. Seed-TTS Eval 벤치마크에서 PilotTTS는 test-en 데이터셋에서 1.50%의 가장 낮은 단어 오류율(WER), test-zh 데이터셋에서 0.87%의 문자 오류율(CER)을 달성했으며, 두 데이터셋 모두에서 가장 높은 화자 유사도(각각 0.862 및 0.815)를 나타내며, 훨씬 더 큰 데이터셋으로 학습된 시스템보다 우수한 성능을 보입니다. 완전한 데이터 처리 파이프라인 레시피, 사전 학습된 가중치 및 코드는 https://github.com/AMAPVOICE/PilotTTS 에서 공개됩니다.

Building state-of-the-art text-to-speech (TTS) systems typically demands millions of hours of proprietary data and complex multi-stage architectures, creating substantial barriers for resource-constrained research teams. In this report, we present PilotTTS, a lightweight autoregressive TTS system that achieves competitive performance through minimalist architecture and rigorous data engineering. PilotTTS is trained on only 200K hours of data processed entirely with open-source tools. Specifically, our contributions are: (1) a reproducible multi-stage data processing pipeline covering quality assessment, label annotation, and filtering, and (2) a compact model architecture that employs Q-Former-based conditioning to decouple speaker identity from speaking style via cross-sample paired training. Within a unified framework, PilotTTS supports zero-shot voice cloning, emotion synthesis (11 categories), paralinguistic synthesis (4 categories), and Chinese dialect synthesis (14 dialects). On the Seed-TTS Eval benchmark, PilotTTS achieves the lowest WER of 1.50% on test-en, a CER of 0.87% on test-zh, and the highest speaker similarity on both test sets (0.862 and 0.815), outperforming systems trained on significantly larger datasets. We release the complete data pipeline recipe, pretrained weights, and code at https://github.com/AMAPVOICE/PilotTTS.