스트리밍 ASR에서 데이터 크기가 지연 시간보다 교차 언어 인코더 전송에 더 큰 영향을 미친다

Data Scale, Not Latency, Shapes Cross-Lingual Encoder Transfer in Streaming ASR

새로운 언어로 스트리밍 음성 인식 모델을 적용하려면 다국어(ML) 인코더 또는 영어 전용(EN) 인코더라는 두 가지 가능한 초기화 방법을 선택해야 합니다. 일반적인 생각은 다국어 인코더가 데이터 양이 적을 때 더 유리하다는 것이지만, 이러한 장점이 얼마나 오래 지속되는지, 스트리밍 지연 시간이 이를 증폭시키는지, 그리고 양자화를 통해 유지될 수 있는지 여부는 불분명합니다. 우리는 0.6B 파라미터의 캐시 인식 FastConformer 트랜스듀서를 사용하여 유럽의 8개 언어에 대해 데이터를 100시간에서 2500시간까지 다양하게, 스트리밍 수준을 세 단계로 나누고 오프라인 디코딩을 포함하며, 공개 테스트 데이터셋을 최대 4개까지 사용하면서 이러한 질문들에 대한 답을 찾았습니다. 주요 결과는 다국어 초기화가 지연 시간에 의해 제한되는 것이 아니라 데이터 양에 의해 제한된다는 것입니다. FLEURS 데이터셋에서 160ms의 스트리밍 환경에서 평균 EN-ML 단어 오류율(WER) 차이가 100시간에서는 +4.21%p였지만, 2500시간에서는 +0.20%p로 감소했습니다. 이러한 감소는 지수 함수적으로 설명될 수 있으며, 목표 언어 데이터가 두 배 증가할 때마다 남은 장점은 대략 절반으로 줄어듭니다. 세 가지 스트리밍 수준에서, 100시간에서 1000시간까지의 각 데이터 규모에서 평균 EN-ML 차이는 약하게 유지되었고, 2500시간에서는 거의 0에 가까워졌습니다. 마지막으로, 동일한 560ms 스트리밍 환경에서 4비트 가중치 기반 인코더 양자화를 적용하면 인코더 크기가 약 3배 감소하고 평균 FLEURS WER이 약 0.5%p 증가했습니다. 결론적으로 다음과 같은 지침을 제시합니다: 데이터 양이 적은 경우에는 다국어 초기화를 사용하고, 데이터 양이 많은 경우에는 이 선택이 거의 무의미하며, 스트리밍 지연 시간 및 양자화에 대한 결정은 독립적으로 내려야 합니다.

Adapting a streaming speech recognition model to a new language requires choosing between two plausible warm starts: a multilingual (ML) encoder or an English-only (EN) encoder. The common intuition is that the multilingual encoder should help most at low data, but it is unclear how long that advantage persists, whether tight streaming latency amplifies it, and whether it survives deployment quantization. We answer these questions with a controlled sweep of a 0.6 B-parameter cache-aware FastConformer transducer across eight European languages, up to five target-language data scales (100 h to 2500 h), three streaming tiers plus offline decoding, and up to four public test sets. The main result is that multilingual initialization is a data-limited advantage, not a latency-limited one. On FLEURS at 160 ms, the mean EN-ML word error rate (WER) gap falls from +4.21 percentage points (pp) at 100 h to +0.20 pp at 2500 h; a power-law fit summarizes this decay, with each doubling of target-language data roughly halving the remaining advantage. Across the three streaming tiers, the across-language mean EN-ML gap is approximately stable at each scale from 100 to 1000 h, and is near zero by 2500 h. Finally, 4-bit weight-only encoder quantization at the matched 560 ms streaming tier reduces the encoder footprint by about 3x, with an average FLEURS WER increase of about 0.5 pp. The resulting guideline is simple: use multilingual initialization in low-data regimes, treat the choice as effectively irrelevant at large data, and make latency and quantization decisions independently.