ZEBRA: 엔트로피 정규화를 활용한 프롬프트 학습을 통한 오디오-언어 모델의 기존 클래스에서 새로운 클래스로의 일반화 성능 향상

ZEBRA: Zero-Shot Entropy-Regularized Prompt Learning for Base-to-Novel Generalization in Audio-Language Models

오디오-언어 모델(ALM)은 오디오 데이터를 텍스트 기반 클래스 설명과 연결하여 뛰어난 제로샷 성능을 달성합니다. 프롬프트 학습은 소수의 데이터로 지도 학습을 수행하여 기존 클래스의 정확도를 향상시키지만, 우리는 중요한 문제점, 즉 새로운 클래스에 대한 성능 저하라는 트레이드오프를 관찰했습니다. 때로는 제로샷 성능보다도 낮아지는 경우가 발생하며, 이는 ALM의 프롬프트 학습에서 발생하는 기존-새로운 클래스 간 일반화 격차를 보여줍니다. 이 문제를 해결하기 위해 우리는 extbf{ZEBRA} (Zero-shot Entropy-Regularized Prompt Learning for Base-to-Novel Generalization)라는 플러그 앤 플레이 프레임워크를 제안합니다. ZEBRA는 제로샷 로짓과 프롬프트 학습 로짓을 결합하고, 자체 엔트로피 정규화를 사용하여 기존 클래스에 대한 과적합을 줄입니다. 여러 오디오 분류 데이터셋에서의 실험 결과, ZEBRA는 새로운 클래스의 성능을 꾸준히 향상시키면서도 높은 수준의 기존 클래스 정확도를 유지하며, 표준 프롬프트 학습과 비교하여 기존-새로운 클래스 격차를 크게 줄이는 것을 확인했습니다. 코드: https://github.com/asif-hanif/zebra

Audio-Language Models (ALMs) achieve strong zero-shot performance by aligning audio with textual class descriptions. Although prompt learning improves accuracy on base classes through few-shot supervised adaptation, we observe a critical trade-off: it often degrades performance on novel classes, sometimes falling below zero-shot accuracy. This exposes a base-to-novel generalization gap in prompt learning for ALMs. To address this issue, we propose \textbf{ZEBRA} (Zero-shot Entropy-Regularized Prompt Learning for Base-to-Novel Generalization), a plug-and-play framework that fuses zero-shot logits with prompt-learning logits, and employs self-entropy regularization to reduce overfitting to base classes. Experiments across multiple audio classification datasets show that ZEBRA consistently improves novel-class performance while maintaining strong base accuracy, significantly reducing the base-to-novel gap compared to standard prompt learning. The code is available at: https://github.com/asif-hanif/zebra.