SICL-AT: 오디오 LLM을 저자원 작업에 적용하는 또 다른 방법

MetaSICL: Globalizing Auditory LLMs for Underserved Speakers and Languages via Meta Speech In-Context Learning

오디오 대규모 언어 모델(LLM)은 다양한 음성 및 오디오 이해 작업에서 뛰어난 성능을 보여줍니다. 그러나 이러한 모델은 종종 저자원 환경이나 익숙하지 않은 작업에 적용될 때 어려움을 겪습니다. 특히, 레이블이 지정된 도메인 데이터가 부족하거나 실제 테스트 분포와 일치하지 않을 경우, 직접적인 미세 조정은 불안정할 수 있습니다. 컨텍스트 학습(ICL)은 훈련 없이 추론 시간에 몇 가지 도메인 내 예제를 활용하여 오디오 LLM을 적응시키는 방법으로, 이러한 방식으로 학습할 수 있습니다. 본 연구에서는 먼저, extit{기본 ICL}이 선택된 모델에서 다양한 음성 및 오디오 작업에 대한 제로샷 성능을 향상시킨다는 것을 보여주었고, 이는 ICL 적응 능력이 멀티모달 환경으로 일반화될 수 있음을 시사합니다. 이러한 기반을 바탕으로, 우리는 extbf{음성 컨텍스트 학습 적응 훈련(SICL-AT)}이라는, 고자원 음성 데이터를 활용하여 모델의 컨텍스트 학습 능력을 강화하는 후처리 방식을 제안합니다. 이러한 강화는 오디오 이해/추론 작업으로 일반화될 수 있습니다. 실험 결과, 제안된 방법은 저자원 환경에서 직접 미세 조정보다 일관되게 우수한 성능을 보였습니다.

Generative AI for speech and audio is increasingly expected to serve users across languages, cultures, and communities, yet current auditory Large Language Models (LLMs) are still largely trained and evaluated on high-resource data. Globalizing such systems requires handling low-resource settings, where the target speakers, languages, or tasks are poorly represented in training data. In these regimes, collecting enough labeled in-domain data is often impractical, and the small corpora available may still under-represent the test distribution, making direct fine-tuning brittle under domain shift. In-Context Learning (ICL) offers an alternative: instead of updating model parameters for every underserved community, an auditory LLM can adapt at inference time by conditioning on a few local demonstrations. However, vanilla speech ICL remains limited because most auditory LLMs are not explicitly trained to use such demonstrations effectively. We address this gap with Meta Speech In-Context Learning (MetaSICL), a post-training recipe that strengthens an auditory LLM's in-context adaptation ability using only abundant high-resource speech data. Although MetaSICL never trains on the target low-resource domains, it improves performance across two backbones on children's ASR, audio understanding/reasoning, and speech translation and ASR in directions and languages unseen in post-training. We further study the case where some in-domain data is available, using low-resource language ASR as a case study, since recognition for underserved languages is central to globalizing generative AI. Here, using MetaSICL as a warmup for in-domain reinforcement learning yields the strongest results, outperforming direct fine-tuning across five typologically diverse languages. Overall, MetaSICL offers a practical route toward globalizing auditory LLMs by building inference-time adaptation into the model.