시각적 음성 인식용 디퓨전 대규모 언어 모델

Diffusion Large Language Models for Visual Speech Recognition

기존의 시각적 음성 인식(VSR) 시스템은 일반적으로 왼쪽에서 오른쪽으로 진행되는 순차적 디코딩 방식을 사용하는데, 이는 시각적으로 불명확한 요소에 대해 충분한 맥락이 제공되기 전에 성급한 판단을 내리도록 강요할 수 있습니다. 본 논문에서는, 우리가 알고 있는 한 최초의 디퓨전 대규모 언어 모델(DLLM) 기반 VSR 프레임워크인 DLLM-VSR을 제안합니다. 이 방식은 음성 기록을 반복적인 마스킹 및 노이즈 제거 과정과 유연한 순서의 디코딩으로 표현합니다. 신뢰도 기반 마스킹 방식을 통해 DLLM-VSR은 높은 신뢰도를 가진 위치는 초기에 결정하고, 결정된 토큰들을 양방향 맥락으로 활용하여 불명확한 부분을 개선합니다. DLLM을 VSR에 적용하기 위해, 시각적 정보와 텍스트 내용의 정렬과 길이 모델링을 분리하는 두 단계의 마스킹-노이즈 제거 학습 전략을 도입했습니다. 또한, 실제 음성 기록 길이를 알고 있다고 가정하는 오라클 길이 디코딩 방식과의 성능 차이를 관찰했는데, 이는 목표 길이 불확실성을 줄이면 DLLM 기반 VSR의 성능 향상에 도움이 된다는 것을 시사합니다. 이러한 격차를 줄이기 위해, 비디오 기간 정보를 활용하여 가능한 음성 기록 길이 가설을 생성하고, 여러 가설 하에서 디코딩을 수행하며, 길이 타당성과 디코딩 신뢰도를 기준으로 후보 결과를 재평가하는 길이 기반 후보 디코딩 방식을 개발했습니다. 제안된 방법은 자체의 레이블이 있는 학습 데이터만을 사용하여 LRS3 데이터셋에서 19.5%의 최첨단 단어 오류율(WER)을 달성했습니다.

Existing Visual Speech Recognition (VSR) systems commonly rely on left-to-right autoregressive decoding, which can force premature decisions on visually ambiguous tokens before sufficient context is available. We propose DLLM-VSR, to the best of our knowledge, the first Diffusion Large Language Model (DLLM)-based VSR framework, formulating transcription as iterative masked denoising with flexible-order decoding. With confidence-based unmasking, DLLM-VSR commits high-confidence positions early and uses the committed tokens as bidirectional context to refine ambiguous ones. To adapt DLLMs to VSR, we introduce a two-stage masked-denoising training strategy that separates visual-to-text content alignment from length modeling. We further observe a performance gap with oracle-length decoding, which assumes access to the true transcript length, indicating that reducing target-length uncertainty can improve DLLM-based VSR. To reduce this gap, we develop length-guided candidate decoding, which uses video duration to construct plausible transcript-length hypotheses, decodes under multiple hypotheses, and reranks candidates using length plausibility and decoding confidence. The proposed method achieves a state-of-the-art WER of 19.5\% on LRS3 using only its labeled training data.