대규모 오디오 언어 모델에서 듣는 동안 언제 사고해야 하는지를 학습하는 방법

Learning When to Think While Listening in Large Audio-Language Models

최근 대규모 오디오 언어 모델(LALM)의 발전은 실시간 스트리밍 음성 상호 작용을 더욱 현실적으로 만들었습니다. 이러한 환경에서 추론 품질과 응답성은 밀접하게 연결되어 있습니다. 음성 종료 시점까지 추론을 지연하면 답변 품질이 향상될 수 있지만, 이는 사용자에게 눈에 띄는 응답 지연으로 이어질 수 있습니다. 반대로 너무 일찍 답변하면 결정적인 증거가 도착하기 전에 오류를 범할 위험이 있습니다. 본 연구에서는 LALM을 위한 학습 가능한 '대기-사고-응답' 제어 방식을 제안합니다. 인간 대화의 점진적인 특성에 따라, 이 컨트롤러는 부분적인 오디오 정보에 기반하여 언제 기다릴지, 언제 간결한 추론 업데이트를 제공할지, 그리고 언제 답변할지를 결정합니다. Qwen2.5-Omni-7B 모델을 기반으로 음성 추론 데이터를 활용하여 정렬된 '대기-사고-응답' 과정을 구축하고, 지도 학습(SFT)을 통해 컨트롤러를 훈련한 후 Decoupled Clip과 Dynamic Sampling Policy Optimization (DAPO)를 적용했습니다. 보상 함수는 답변 정확도, 액션 유효성, 업데이트 시점, 지연 동기화, 추론 품질 및 체인 일관성을 결합하여 '대기-사고-응답' 전체 경로를 최적화합니다 (단순히 최종 답변만을 최적화하는 것이 아님). 6가지 작업으로 구성된 합성 음성 추론 질문 응답(SRQA) 벤치마크에서, 6가지 보상을 사용하는 DAPO 컨트롤러는 행 가중 평균 정확도를 67.6%에서 70.3%로 향상시켰으며, 동일한 Qwen 환경에서 최종 사고 시간을 14% 단축했습니다. 텍스트-음성(TTS)으로 생성된 음성이 아닌 실제 음성 데이터로 구성된 186개의 'Real Audio Bench' 테스트에서, 제안하는 컨트롤러는 여전히 효과적임을 확인했습니다. SFT 방식이 가장 높은 정확도를 달성했으며, 6가지 보상을 사용하는 DAPO 컨트롤러만이 최종 사고 시간이 기본 모델보다 짧은 것으로 나타났습니다. 이러한 결과는 스트리밍 모델이 오디오 스트림 과정에서 중간 추론을 언제 명시적으로 수행할지 학습해야 함을 시사합니다.

Recent advances in Large Audio-Language Models (LALMs) have made real-time, streaming spoken interaction increasingly practical. In this setting, reasoning quality and responsiveness are tightly coupled: delaying reasoning until the speech endpoint can improve answer quality but moves deliberation into user-visible response delay, while answering too early risks committing before decisive evidence arrives. We introduce a learnable wait-think-answer control formulation for LALMs. Motivated by the incremental nature of human conversation, the controller decides under partial audio evidence when to wait, when to externalize a compact reasoning update, and when to answer. Using Qwen2.5-Omni-7B as the base model, we construct aligned wait-think-answer traces from spoken reasoning data, train the controller with supervised fine-tuning (SFT), and then apply Decoupled Clip and Dynamic Sampling Policy Optimization (DAPO). The reward combines answer correctness, action validity, update timing, latency synchronization, reasoning quality, and chain consistency, optimizing the complete wait-think-answer trajectory and not the final answer alone. On a six-task synthetic spoken reasoning question answering (SRQA) benchmark, the six-reward DAPO controller improves the row-weighted accuracy from 67.6% to 70.3% while reducing post-endpoint final-think length by 14% under the same Qwen deployment harness. On a 186-item human-recorded Real Audio Bench, a transfer check beyond text-to-speech (TTS)-rendered speech, the controller family remains functional: SFT achieves the strongest accuracy, while the six-reward DAPO controller is the only learned variant whose final-think length falls below the base. These results suggest that a streaming model should learn when to make intermediate reasoning explicit during the audio stream.