FlowEdit: 플로우 매칭 TTS 시스템의 지속적인 발음 적응을 위한 연관 기억

FlowEdit: Associative Memory for Lifelong Pronunciation Adaptation in Flow-Matching TTS

플로우 매칭 텍스트 음성 변환(TTS) 시스템은 뛰어난 제로샷 품질을 달성하지만, 배포 후에는 정적이며, 모델 재학습 없이는 어휘에 없는 고유 명사에 대한 발음 오류가 지속됩니다. 본 연구에서는 동결된 플로우 매칭 TTS 시스템을 위한 지속적인 적응 프레임워크인 FlowEdit을 소개합니다. FlowEdit은 가중치 업데이트 대신 잠재 조건부 편집으로 발음 수정 사항을 학습합니다. 교정 피드백이 제공되면, FlowEdit은 텍스트 임베딩 공간에서 토큰 수준의 변화를 최적화하고, 이를 콘텐츠 기반 에피소드 기억 네트워크(Modern Hopfield Network)에 저장합니다. 추론 시에는 유사성 게이트와 소프트 어텐션을 사용하여 수정 사항을 검색하며, 이를 통해 모호한 형태론적 매칭이 가능합니다. 18개 언어군에 걸쳐 선별된 312개의 다국어 고유 명사를 포함하는 벤치마크 데이터셋에서, FlowEdit은 제로샷 기준 모델 대비 음소 오류율을 92.7% 감소시키면서 일반적인 음성 품질을 그대로 유지합니다. 수정 작업은 단일 GPU에서 약 15초 내에 완료됩니다.

Flow-matching text-to-speech systems achieve remarkable zero-shot quality but remain static after deployment: pronunciation errors on out-of-vocabulary proper nouns persist unless the model is retrained. We introduce FlowEdit, a life-long adaptation framework for frozen flow-matching TTS that learns pronunciation corrections as latent conditioning edits rather than weight updates. When corrective feedback is provided, FlowEdit optimizes a token-level perturbation in the text embedding space, then stores the correction in a Modern Hopfield Network serving as content-addressable episodic memory. At inference, corrections are retrieved via soft attention with a similarity gate, enabling fuzzy morphological matching. On our curated benchmark of 312 multilingual proper nouns across 18 language families, FlowEdit reduces target-word Phoneme Error Rate by 92.7% relative to the zero-shot baseline while maintaining identical general-speech quality. Corrections complete in approximately 15 seconds on a single GPU.