ASR 명명 개체 오류 수정에 대한 어댑티브 체인-오브-소트(Chain-of-Thought)를 갖춘 검색 증강 자가 학습 추론 모델

Retrieval-Augmented Self-Taught Reasoning Model with Adaptive Chain-of-Thought for ASR Named Entity Correction

종단 간 자동 음성 인식(ASR) 시스템은 종종 도메인별 구, 특히 명명 개체와 같은 용어를 잘못 인식하여, 후속 작업에서 심각한 오류를 발생시킬 수 있습니다. 최근에는 대규모 언어 모델(LLM)을 기반으로 한 새로운 명명 개체 수정 방법들이 등장했습니다. 그러나 이러한 접근 방식은 아직 LLM에 내재된 정교한 추론 능력을 충분히 활용하지 못하고 있습니다. 이러한 격차를 해소하기 위해, 본 연구에서는 ASR에서 명명 개체 오류를 수정하기 위한 새로운 검색 증강 생성 프레임워크를 제안합니다. 제안하는 방법은 두 가지 주요 구성 요소로 이루어집니다. (1) 명명 개체 인식을 위한 재구성 언어 모델(RLM)과, 음성 수준 편집 거리를 사용하여 후보를 검색하는 방식; (2) 작업 난이도에 따라 추론 깊이를 동적으로 조정하는 새로운 자가 학습 추론 모델(A-STAR)을 사용합니다. AISHELL-1 및 Homophone 데이터 세트에서 수행한 실험 결과, 제안하는 방법은 강력한 기준 모델과 비교하여 명명 개체 문자 오류율을 각각 17.96% 및 34.42% 감소시켜 효과적인 성능을 보였습니다.

End-to-end automatic speech recognition (ASR) systems frequently misrecognize domain-specific phrases like named entities, which can cause catastrophic failures in downstream tasks. A new family of named entity correction methods based on large language models (LLMs) has recently emerged. However, these approaches have yet to fully exploit the sophisticated reasoning capabilities inherent to LLMs. To bridge this gap, we propose a novel retrieval-augmented generation framework for correcting named entity errors in ASR. Our approach consists of two key components: (1) a rephrasing language model (RLM) for named entity recognition, followed by candidate retrieval using a phonetic-level edit distance; and (2) a novel self-taught reasoning model with adaptive chain-of-thought (A-STAR) that dynamically adjusts the depth of its reasoning based on task difficulty. Experiments on the AISHELL-1 and Homophone datasets demonstrate the effectiveness of our method, which achieves relative reductions in the named entity character error rate of 17.96\% and 34.42\%, respectively, compared to a strong baseline.