AuRA: LoRA를 활용한 LLM 내 음성 이해 통합

AuRA: Internalizing Audio Understanding into LLMs as LoRA

최근 대규모 언어 모델(LLM)을 음성 입력으로 확장하려는 시도는 일반적으로 ASR-LLM 파이프라인, 엔드 투 엔드 음성-언어 모델 또는 브리지/지식 증류 기반 적응 방법을 사용합니다. 이러한 방법들은 각각 강력한 사전 학습된 구성 요소를 재사용하거나, 원활한 음성-언어 상호 작용을 가능하게 하거나, 경량화된 적응 기능을 제공하지만, 종종 전사 인터페이스 지연, 비용이 많이 드는 다중 모드 훈련 또는 순차적인 음성-언어 결합 문제를 안고 있습니다. 이러한 한계점을 해결하기 위해, 본 논문에서는 LLM 내부에 오디오 인코딩 능력을 통합하는 AuRA라는 방법을 제안합니다. 구체적으로, AuRA는 동일한 음성 입력을 ASR 인코더(선생님 역할)와 LoRA로 조정된 LLM(학생 역할)에 경량화된 오디오 임베딩 레이어를 통해 전달하고, 계층별 지식 증류를 사용하여 학생의 은닉 상태를 해당 선생님 표현과 일치시켜 음성 표현을 LLM 측의 경량화된 적응에 통합합니다. AuRA는 기존의 파이프라인 방식이나 시리얼 브리지 방식보다 더 강력한 음성-언어 결합 모델링 및 효율적인 병렬 엔드 투 엔드 추론을 가능하게 하며, 또한 대규모 다중 모드 훈련 없이 사전 학습된 음성 및 언어 모델을 재사용합니다. 여러 음성-언어 벤치마크에서 AuRA는 기존 시스템, 음성을 LLM에 적응시키는 기본 방법, 그리고 대규모 음성-언어 및 다중 모드 모델보다 효과성과 효율성 측면에서 일관되게 우수한 성능을 보였습니다.

Recent efforts to extend large language models (LLMs) to speech inputs typically rely on cascaded ASR-LLM pipelines, end-to-end speech-language models, or bridge/distillation-based adaptation. While these routes respectively reuse strong pretrained components, enable native speech-language interaction, or offer lightweight adaptation, they often suffer from transcript-interface latency, costly multimodal training, or sequential speech-language coupling. To address these limitations, we present AuRA, a method that distills audio encoding capability into the LLM. Specifically, AuRA feeds the same speech input to an ASR encoder (as a teacher) and a LoRA-adapted LLM (as a student) through a lightweight audio embedding layer, and uses layer-wise distillation to align the student's hidden states with corresponding teacher representations, thereby internalizing speech representations into lightweight LLM-side adaptations. Compared with cascaded and serial bridge methods, AuRA enables tighter speech-language joint modeling and efficient parallel end-to-end inference, while also reusing pretrained speech and language models rather than requiring large-scale multimodal training. On multiple speech-language benchmarks, AuRA consistently outperforms cascaded systems, speech-to-LLM adaptation baselines, and large-scale speech-language and multimodal models in both effectiveness and efficiency.