VocalRender: 실제 작곡 워크플로우를 위한 악보 기반 노래 목소리 합성

VocalRender: Score-Native Singing Voice Synthesis for Real-World Composition

기존의 노래 목소리 합성 시스템은 종종 미리 정의된 지속 시간, 명시적인 지속 시간 예측 또는 시간 정렬된 음향 지침을 필요로 하며, 이는 실질적인 작곡 워크플로우와의 호환성을 제한합니다. 본 논문에서는 VocalRender라는 악보 기반 시스템을 제안합니다. 이 시스템은 가사, 음높이, 기호 음표 값 및 템포를 직접 사용하여 노래 목소리를 합성합니다. VocalRender는 가사와 음표를 결합한 표현 방식을 사용하고, 오토리거시브 디퓨전 모델을 활용하여 연속적인 음향 데이터를 생성하면서 출력 길이를 예측함으로써 명시적인 지속 시간 예측의 필요성을 없앱니다. 2,300시간 분량의 노래 데이터셋으로 학습된 VocalRender는 뛰어난 가독성, 강력한 멜로디 제어 능력 및 다양한 도메인에서의 높은 화자 유사도를 달성합니다. 특히, 본 논문에서 제안하는 악보 기반 아키텍처의 효과를 입증하며, 자연스러움 평가 지표(CMOS)에서 가장 뛰어난 기존 모델보다 0.42점이 더 높은 성능을 보입니다.

Existing singing voice synthesis systems often require predefined durations, explicit duration prediction, or time-aligned acoustic guidance, which limits their compatibility with practical composition workflows. We propose VocalRender, a score-native system that directly synthesizes singing from lyrics, pitches, symbolic note values, and tempo. It uses an interleaved lyric--note representation and an autoregressive diffusion model to generate continuous acoustic latents while predicting the output length, eliminating the need for explicit duration prediction. Trained on a 2,300-hour singing dataset, VocalRender achieves strong intelligibility, strong melody control, and high speaker similarity across both in-domain and out-of-domain benchmarks. Notably, it outperforms the strongest baseline by $0.42$ points in naturalness CMOS, demonstrating the effectiveness of our proposed score-native architecture.