GRM: 유틸리티(효율성)를 고려한 오디오 LLM에 대한 그래디언트 비율 마스킹 기반 공격

GRM: Utility-Aware Jailbreak Attacks on Audio LLMs via Gradient-Ratio Masking

오디오 대규모 언어 모델(ALLM)은 풍부한 음성-텍스트 상호 작용을 가능하게 하지만, 음성 모달리티에서 탈취(jailbreak) 취약점을 야기하기도 합니다. 기존의 오디오 탈취 방법은 주로 탈취 성공률을 최적화하는 데 집중하지만, 음성 기록 품질 및 질문 답변 성능과 같은 유틸리티(효율성) 보존은 간과되는 경우가 많습니다. 실제로 강력한 공격은 종종 유틸리티 저하를 동반합니다. 이러한 상충 관계를 연구하기 위해, 우리는 기존 공격들을 재검토하면서 주파수 도메인에서의 교란(perturbation) 범위를 부분 대역에서 전체 대역으로 변화시켜 보았습니다. 그 결과, 더 넓은 주파수 범위가 반드시 탈취 성능을 향상시키지 않으며, 오히려 유틸리티가 지속적으로 저하되는 것을 확인했습니다. 이는 특정 대역에 교란을 집중시키는 것이 맹목적인 전체 대역 교란보다 더 나은 공격-유틸리티 균형을 제공할 수 있음을 시사합니다. 이러한 통찰력을 바탕으로, 유틸리티를 고려한 주파수 선택적 탈취 프레임워크인 GRM을 제안합니다. GRM은 멜 대역을 공격 기여도와 유틸리티 민감도를 기준으로 순위를 매겨, 선택된 부분집합의 대역에만 교란을 가하고, 의미 보존 목표 하에서 재사용 가능한 보편적 교란을 학습합니다. 네 가지 대표적인 ALLM에 대한 실험 결과, GRM은 평균 탈취 성공률(JSR) 88.46%를 달성했으며, 대표적인 기준 방법보다 더 나은 공격-유틸리티 균형을 제공했습니다. 이러한 결과는 오디오 탈취에서 공격 효율성과 유틸리티 보존을 더 잘 균형을 맞추기 위한 주파수 선택적 교란의 잠재력을 강조합니다. 경고: 본 논문에는 유해한 쿼리 예시 및 안전하지 않은 모델 응답이 포함되어 있습니다.

Audio Large Language Models (ALLMs) enable spoken interaction but introduce new jailbreak vulnerabilities. Existing perturbation-based jailbreaks do not explicitly control which frequency bands carry the perturbation. Although such perturbations can elicit unsafe responses, repeatedly applying a universal perturbation across diverse inputs may also degrade utility on normal tasks, leaving a conspicuous behavioral footprint that may expose the attack to users or automated monitoring systems and thereby compromise its stealthiness. To determine whether full-band perturbation is necessary, we vary coverage from partial-band to full-band. Jailbreak Success Rate (JSR) varies non-monotonically, while utility degradation grows with coverage. This mismatch shows that selected bands can yield stronger attacks with less utility degradation than full-band perturbations. Based on this observation, we propose GRM, a utility-aware, frequency-selective jailbreak framework that ranks Mel bands by the ratio between jailbreak contribution and transcript sensitivity, confines a universal perturbation to selected bands, and regularizes deviations from the intended request semantics. Experiments on four ALLMs show that GRM achieves an average JSR of 88.46\% while substantially reducing utility degradation across benign transcription and response tasks relative to baselines. Our code is available at \href{https://github.com/159753Fetter/GRM}{this repository}. Warning: This paper contains potentially sensitive content.