Tutti: 구조 수준의 음색 제어 및 보컬 텍스처 모델링을 통한 표현력 있는 다중 보컬 합성

Tutti: Expressive Multi-Singer Synthesis via Structure-Level Timbre Control and Vocal Texture Modeling

기존의 노래 목소리 합성 시스템은 고품질의 솔로 연주를 달성하지만, 전반적인 음색 제어에 제한되어 있어 단일 곡 내에서 동적인 다중 보컬 구성 및 보컬 텍스처를 처리하는 데 어려움을 겪습니다. 이러한 문제를 해결하기 위해, 우리는 구조화된 다중 보컬 생성을 위한 통합 프레임워크인 Tutti를 제안합니다. 특히, 우리는 음악 구조에 따라 유연하게 보컬을 배치할 수 있는 구조 인식 보컬 프롬프트를 도입하고, 명시적인 제어에 상호 보완적인 음향 텍스처(예: 공간 잔향 및 스펙트럼 융합)를 캡처하기 위해 조건 기반 VAE를 통한 상호 보완적인 텍스처 학습을 제안합니다. 실험 결과, Tutti는 정밀한 다중 보컬 배치에 뛰어나며, 합창 생성의 음향적 현실감을 크게 향상시키고, 복잡한 다중 보컬 구성을 위한 새로운 패러다임을 제시합니다. 오디오 샘플은 https://annoauth123-ctrl.github.io/Tutii_Demo/ 에서 확인할 수 있습니다.

While existing Singing Voice Synthesis systems achieve high-fidelity solo performances, they are constrained by global timbre control, failing to address dynamic multi-singer arrangement and vocal texture within a single song. To address this, we propose Tutti, a unified framework designed for structured multi-singer generation. Specifically, we introduce a Structure-Aware Singer Prompt to enable flexible singer scheduling evolving with musical structure, and propose Complementary Texture Learning via Condition-Guided VAE to capture implicit acoustic textures (e.g., spatial reverberation and spectral fusion) that are complementary to explicit controls. Experiments demonstrate that Tutti excels in precise multi-singer scheduling and significantly enhances the acoustic realism of choral generation, offering a novel paradigm for complex multi-singer arrangement. Audio samples are available at https://annoauth123-ctrl.github.io/Tutii_Demo/.