VoxPrivacy: 음성 언어 모델의 상호작용 개인 정보 보호 평가를 위한 벤치마크

VoxPrivacy: A Benchmark for Evaluating Interactional Privacy of Speech Language Models

음성 언어 모델(SLM)이 개인용 기기에서 스마트 홈과 같은 공유 다중 사용자 환경으로 전환됨에 따라, 새로운 과제가 발생합니다. 모델은 정보를 적절하게 관리하기 위해 사용자를 구별해야 합니다. 이러한 능력이 없다면, SLM이 한 사용자의 기밀 일정을 다른 사용자에게 공개하여 개인 정보 침해를 유발할 수 있습니다. 우리는 이러한 유형의 개인 정보 침해를 '상호작용 개인 정보 보호'라고 부릅니다. 따라서, SLM의 안전한 배포를 위해서는 화자 정보를 고려하는 응답을 생성하는 능력이 필수적입니다. 현재 SLM 벤치마크는 대화 능력을 테스트하지만 화자 식별은 간과합니다. 다중 화자 벤치마크는 누가 무엇을 말했는지 확인하지만, SLM이 응답을 어떻게 조정하는지 평가하지 않습니다. 기존의 개인 정보 보호 벤치마크는 은행 비밀번호와 같은 전역적으로 민감한 데이터에 초점을 맞추는 반면, 사용자의 개인적인 약속과 같은 상황 맥락에서 중요한 개인 정보에 대해서는 간과합니다. 이러한 격차를 해소하기 위해, 우리는 SLM의 상호작용 개인 정보 보호를 평가하도록 설계된 첫 번째 벤치마크인 VoxPrivacy를 소개합니다. VoxPrivacy는 직접적인 보안 명령을 따르는 것부터 능동적으로 개인 정보를 보호하는 것까지, 난이도가 점진적으로 증가하는 세 가지 단계로 구성됩니다. 32시간 분량의 이중 언어 데이터 세트를 사용하여 9개의 SLM을 평가한 결과, 광범위한 취약점이 발견되었습니다. 대부분의 오픈 소스 모델은 조건부 개인 정보 결정에 대해 무작위 추측과 비슷한 수준(약 50% 정확도)의 성능을 보였으며, 심지어 강력한 폐쇄형 시스템조차도 능동적인 개인 정보 추론에 어려움을 겪었습니다. 이러한 결과를 실제 음성 데이터 세트인 Real-VoxPrivacy를 사용하여 검증한 결과, 합성 데이터에서 관찰된 실패가 실제 음성에서도 지속되는 것을 확인했습니다. 또한, 새로운 4,000시간 분량의 학습 데이터 세트를 사용하여 미세 조정함으로써, 개인 정보 보호 능력을 향상시키면서도 견고성을 유지할 수 있는 방법을 보여줍니다. 향후 연구를 지원하기 위해, VoxPrivacy 벤치마크, 대규모 학습 데이터 세트, 그리고 미세 조정된 모델을 공개하여 더욱 안전하고 상황 인지적인 SLM 개발을 촉진하고자 합니다.

As Speech Language Models (SLMs) transition from personal devices to shared, multi-user environments such as smart homes, a new challenge emerges: the model is expected to distinguish between users to manage information flow appropriately. Without this capability, an SLM could reveal one user's confidential schedule to another, a privacy failure we term interactional privacy. Thus, the ability to generate speaker-aware responses becomes essential for SLM safe deployment. Current SLM benchmarks test dialogue ability but overlook speaker identity. Multi-speaker benchmarks check who said what without assessing whether SLMs adapt their responses. Privacy benchmarks focus on globally sensitive data (e.g., bank passwords) while neglecting contextual privacy-sensitive information (e.g., a user's private appointment). To address this gap, we introduce VoxPrivacy, the first benchmark designed to evaluate interactional privacy in SLMs. VoxPrivacy spans three tiers of increasing difficulty, from following direct secrecy commands to proactively protecting privacy. Our evaluation of nine SLMs on a 32-hour bilingual dataset reveals a widespread vulnerability: most open-source models perform close to random chance (around 50% accuracy) on conditional privacy decisions, while even strong closed-source systems fall short on proactive privacy inference. We further validate these findings on Real-VoxPrivacy, a human-recorded subset, confirming that failures observed on synthetic data persist in real speech. Finally, we demonstrate a viable path forward: by fine-tuning on a new 4,000-hour training set, we improve privacy-preserving abilities while maintaining robustness. To support future work, we release the VoxPrivacy benchmark, the large-scale training set, and the fine-tuned model to foster the development of safer and more context-aware SLMs.