음성 기능 호출: 대규모 오디오 언어 모델을 위한 음성 언어 이해의 새로운 관점

Spoken Function Calling: A New Perspective on Spoken Language Understanding for Large Audio Language Models

음성 언어 이해(SLU)는 작업 지향형 대화 시스템의 핵심 구성 요소이며, 원활한 인간-에이전트 상호 작용을 달성하는 데 중요한 역할을 합니다. 기존의 SLU는 특정 분야의 작업을 위한 사용자의 의미를 효과적으로 추출할 수 있지만, 문맥 내 학습을 활용하여 다양한 분야의 작업(open-domain tasks)을 수행하는 데 어려움을 겪습니다. 이는 기존 SLU 방식이 명확한 규칙 정의를 따르지 않기 때문입니다. 본 연구에서는 구조화된 규칙 정의를 통해 의미 이해를 최적화하는 새로운 관점인 '음성 기능 호출(Spoken Function Calling, SFC)'을 제안하여 전통적인 특정 분야 중심의 SLU를 발전시키고자 합니다. 구체적으로, 기존의 SLU 데이터셋을 기반으로 음성 기능을 큐레이션하고 확장하며, 다중 에이전트 시스템을 활용하여 SFC-Bench 데이터셋을 구축합니다. 또한, 대규모 언어 모델(LLM)과 대규모 오디오 언어 모델(LALM)의 성능을 평가하고, 후속 학습을 통해 LALM의 SFC 기능을 향상시킵니다. 실험 결과는 SFC가 기존의 SLU 방식보다 우수한 성능을 보이며, LLM 및 LALM의 의미 추출 정확도를 크게 향상시키는 것을 보여줍니다.

Spoken Language Understanding (SLU) is the core component of task-oriented dialogue systems and a pivotal link in achieving seamless human-agent interaction. While traditional SLU can effectively extract user semantics for closed-set tasks after in-domain supervised fine-tuning, it faces significant challenges in leveraging in-context learning for open-domain tasks due to its ambiguous rule definitions. This work proposes Spoken Function Calling (SFC), a novel semantic understanding perspective that optimizes semantic understanding with structured rule definitions, to evolve beyond traditional closed-set SLU. Specifically, we curate and extend a suite of spoken functions based on traditional SLU datasets, construct a multi-agent system to synthesize the SFC-Bench dataset, evaluate the performance of Large Language Models (LLMs) and Large Audio Language Models (LALMs), and enhance the SFC capabilities of LALMs through post-training. Experiments demonstrate that SFC outperforms traditional SLU, substantially enhancing the semantic extraction accuracy for LLMs and LALMs.