일관성 정규화를 이용한 통합 음성 인식 트랜스듀서 모델의 오프라인-스트리밍 성능 격차 감소

Reducing the Offline-Streaming Gap for Unified ASR Transducer with Consistency Regularization

음성 인식(ASR) 시스템의 통합은 개발 및 유지 관리 비용을 줄일 수 있지만, 단일 모델이 오프라인 환경과 저지연 스트리밍 환경 모두에서 높은 성능을 발휘하도록 훈련하는 것은 여전히 어려운 과제입니다. 본 논문에서는 덩어리 제한 어텐션과 오른쪽 컨텍스트, 그리고 동적 덩어리 컨볼루션을 활용하여 오프라인 및 스트리밍 디코딩을 모두 지원하는 통합 ASR 프레임워크를 트랜스듀서(RNNT) 훈련에 적용했습니다. 오프라인과 스트리밍 성능 간의 격차를 더욱 줄이기 위해, 훈련 모드 간의 일관성을 장려하는 RNNT(MCR-RNNT)를 위한 효율적인 Triton 구현인 모드 일관성 정규화를 도입했습니다. 실험 결과, 제안하는 방법은 오프라인 성능을 유지하면서 저지연 스트리밍 정확도를 향상시키며, 더 큰 모델 크기와 더 큰 훈련 데이터셋에 대한 확장성을 보여줍니다. 제안하는 통합 ASR 프레임워크와 영어 모델 체크포인트는 오픈 소스로 제공됩니다.

Unification of automatic speech recognition (ASR) systems reduces development and maintenance costs, but training a single model to perform well in both offline and low-latency streaming settings remains challenging. We present a Unified ASR framework for Transducer (RNNT) training that supports both offline and streaming decoding within a single model, using chunk-limited attention with right context and dynamic chunked convolutions. To further close the gap between offline and streaming performance, we introduce an efficient Triton implementation of mode-consistency regularization for RNNT (MCR-RNNT), which encourages agreement across training modes. Experiments show that the proposed approach improves streaming accuracy at low latency while preserving offline performance and scaling to larger model sizes and training datasets. The proposed Unified ASR framework and the English model checkpoint are open-sourced.