오디오-언어 모델에서 테스트 시간 스케일링을 활용한 모호한 감정 인식

Decoding Ambiguous Emotions with Test-Time Scaling in Audio-Language Models

인간의 음성을 통해 감정을 인식하는 것은 사회적으로 민감한 대화형 AI를 구현하는 데 매우 중요합니다. 그러나 대부분의 기존 연구에서는 감정 인식을 범주형 분류 문제로 다루지만, 실제 감정 상태는 종종 모호하고 중복되며 맥락에 따라 달라지므로, 어노테이션 및 자동 모델링에 상당한 어려움을 야기합니다. 최근 대규모 오디오-언어 모델(ALM)은 명시적인 감정 레이블 없이 미묘한 감정 추론을 위한 새로운 기회를 제공하지만, 이러한 모델이 모호한 감정을 처리하는 능력은 아직 충분히 연구되지 않았습니다. 동시에, 테스트 시간 스케일링(TTS)과 같은 추론 시간 기술의 발전은 어려운 자연어 처리 작업에서 일반화 및 적응성을 향상시키는 데 유망한 결과를 보여주었지만, 이러한 기술이 감정 컴퓨팅에 얼마나 관련이 있는지에 대한 연구는 아직 부족합니다. 본 연구에서는 오디오-언어 모델을 사용하여 테스트 시간 스케일링 환경에서 음성 데이터의 모호한 감정 인식을 평가하는 최초의 벤치마크를 제시합니다. 저희는 세 가지 주요 음성 감정 데이터 세트를 사용하여 최첨단 ALM 8개와 TTS 전략 5개를 체계적으로 비교했습니다. 또한 모델의 성능, TTS, 감정적 모호성 간의 상호 작용에 대한 심층적인 분석을 제공하여, 모호한 감정 이해의 계산 및 표현적 과제에 대한 새로운 통찰력을 제공합니다. 본 벤치마크는 보다 강력하고 맥락 인지적이며 감성 지능적인 음성 기반 AI 시스템을 개발하는 데 기반을 제공하며, 모델의 가정과 실제 인간 감정의 복잡성 간의 격차를 해소하기 위한 미래 연구 방향을 제시합니다.

Emotion recognition from human speech is a critical enabler for socially aware conversational AI. However, while most prior work frames emotion recognition as a categorical classification problem, real-world affective states are often ambiguous, overlapping, and context-dependent, posing significant challenges for both annotation and automatic modeling. Recent large-scale audio language models (ALMs) offer new opportunities for nuanced affective reasoning without explicit emotion supervision, but their capacity to handle ambiguous emotions remains underexplored. At the same time, advances in inference-time techniques such as test-time scaling (TTS) have shown promise for improving generalization and adaptability in hard NLP tasks, but their relevance to affective computing is still largely unknown. In this work, we introduce the first benchmark for ambiguous emotion recognition in speech with ALMs under test-time scaling. Our evaluation systematically compares eight state-of-the-art ALMs and five TTS strategies across three prominent speech emotion datasets. We further provide an in-depth analysis of the interaction between model capacity, TTS, and affective ambiguity, offering new insights into the computational and representational challenges of ambiguous emotion understanding. Our benchmark establishes a foundation for developing more robust, context-aware, and emotionally intelligent speech-based AI systems, and highlights key future directions for bridging the gap between model assumptions and the complexity of real-world human emotion.