음성이 ELF와 만난다: 음성 조건부 연속 목표 확산 모델을 활용한 음성 인식 및 번역

Speech Meets ELF: Audio Conditional Continuous-Target Diffusion for Speech Recognition and Translation

음성-텍스트 변환(ST) 시스템은 일반적으로 음성 인지(ASR) 및 번역(S2TT) 작업을 위해 이산적인 텍스트 토큰을 생성합니다. 반면, 연속 목표 언어 모델링은 연속적인 공간에서 생성을 수행하지만, 이러한 방식이 ST에 어떻게 적용될 수 있는지는 아직 탐구되지 않았습니다. 이러한 간극을 해소하기 위해, 우리는 음성 조건부 연속 목표 생성 모델인 ELF-S2T를 제안합니다. ELF-S2T는 사전 훈련된 임베디드 언어 흐름(ELF) 기반으로 구축되었으며, 동결된 Whisper 인코더와 단일 선형 프로젝터를 사용하여 음성을 처리하고, 결과적으로 얻은 음성 조건을 노이즈가 있는 텍스트 잠재 표현에 추가하여 문맥 내에서 흐름 일치 방식으로 노이즈를 제거합니다. 모델이 사전 훈련된 텍스트 문맥에 지나치게 의존하는 것을 방지하기 위해, 우리는 학습 중에 오디오 강제(audio forcing)를 도입하고, 추론 시에는 분류기 없는 가이드(classifier-free guidance)를 통해 음성 조건을 더욱 강화합니다. LibriSpeech 및 CoVoST2 데이터셋에서의 실험 결과, ELF-S2T는 경쟁력 있는 ASR 및 S2TT 성능을 달성했습니다. 중요한 점은, 오류 분석 결과에 따르면 ASR 및 S2TT 오류가 표면적으로는 매우 다르지만, 근본적인 원인은 연속 잠재 공간 내의 유사한 거리 혼동이라는 것을 알 수 있습니다. 이러한 발견은 연속 표현 생성 패러다임과 자연스럽게 일치하며, 음성 인식 및 번역 과정에서 공통된 의미 매핑 프로세스가 존재함을 시사합니다. 우리의 코드와 사전 훈련된 모델은 다음 링크에서 공개적으로 이용할 수 있습니다: https://github.com/Sslnon/ELF-S2T.

Speech-to-text (S2T) systems for recognition (ASR) and translation (S2TT) typically generate discrete text tokens. In contrast, continuous-target language modelling performs generation in a continuous space, yet its potential for S2T remains unexplored. To bridge this gap, we propose ELF-S2T, an audio-conditioned continuous-target generative model for S2T. Built upon the pre-trained Embedded Language Flows (ELF) backbone, ELF-S2T processes speech via a frozen Whisper encoder and a single linear projector, prepending the resulting audio condition to the noisy text latent for in-context, flow-matching denoising. To prevent the model from over-relying on its pre-trained text context, we introduce audio forcing during training, and further amplify the audio condition via classifier-free guidance at inference. Experiments on LibriSpeech and CoVoST2 show that ELF-S2T achieves competitive ASR and S2TT performance. Crucially, our error analysis reveals that, although ASR and S2TT errors look very different on the surface, both stem from the same underlying cause, a close distance confusion in the continuous latent space. This finding naturally aligns with the continuous representation generation paradigm, indicating a common semantic mapping process beneath recognition and translation. Our code and pretrained models are publicly available at https://github.com/Sslnon/ELF-S2T.