대규모 오디오 언어 모델에 대한 멤버십 추론 공격

Membership Inference Attacks against Large Audio Language Models

본 연구에서는 대규모 오디오 언어 모델(LALM)에 대한 최초의 체계적인 멤버십 추론 공격(MIA) 평가를 제시합니다. 오디오는 비의미적 정보를 포함하기 때문에 훈련 및 테스트 데이터 분포의 심각한 변화를 초래하며, 이는 잘못된 MIA 성능으로 이어질 수 있습니다. 텍스트, 스펙트럼 및 음운 특징을 기반으로 한 다중 모드 기반의 기준 모델을 사용하여, 일반적인 음성 데이터 세트가 모델 추론 없이도 거의 완벽한 훈련/테스트 분리 가능성을 보이며 (AUC 약 1.0), 표준 MIA 점수는 이러한 음향적 특징과 강한 상관관계를 갖는다는 것을 입증했습니다 (상관관계 0.7 이상). 이러한 기준 모델을 통해, 분포가 일치하는 데이터 세트를 사용하면 분포 변화로 인한 영향을 배제하고 신뢰할 수 있는 MIA 평가가 가능함을 확인했습니다. 여러 MIA 방법론을 벤치마킹하고, 이러한 데이터 세트에 대한 모드 분리 실험을 수행했습니다. 그 결과, LALM의 기억 능력은 모드 간에 공유되며, 이는 화자의 음성 정보와 텍스트가 결합될 때 발생한다는 것을 알 수 있었습니다. 이러한 연구 결과는 가짜 상관관계를 넘어 LALM을 감사하기 위한 체계적인 기준을 제시합니다.

We present the first systematic Membership Inference Attack (MIA) evaluation of Large Audio Language Models (LALMs). As audio encodes non-semantic information, it induces severe train and test distribution shifts and can lead to spurious MIA performance. Using a multi-modal blind baseline based on textual, spectral, and prosodic features, we demonstrate that common speech datasets exhibit near-perfect train/test separability (AUC approximately 1.0) even without model inference, and the standard MIA scores strongly correlate with these blind acoustic artifacts (correlation greater than 0.7). Using this blind baseline, we identify that distribution-matched datasets enable reliable MIA evaluation without distribution shift confounds. We benchmark multiple MIA methods and conduct modality disentanglement experiments on these datasets. The results reveal that LALM memorization is cross-modal, arising only from binding a speaker's vocal identity with its text. These findings establish a principled standard for auditing LALMs beyond spurious correlations.