MORE: 음성 인식에 대한 다중 목표 적대적 공격

MORE: Multi-Objective Adversarial Attacks on Speech Recognition

Whisper와 같은 대규모 자동 음성 인식(ASR) 모델의 등장은 다양한 실제 응용 분야에서 그 활용을 크게 확대했습니다. 따라서 실시간 환경에서 안정적인 성능을 유지하기 위해서는 미세한 입력 변화에도 강건성을 확보하는 것이 매우 중요합니다. 기존 연구에서는 주로 적대적 공격 하에서의 정확도 저하를 분석했지만, 효율성 측면에서의 강건성은 거의 연구되지 않았습니다. 이러한 제한적인 시각은 ASR 모델의 취약성에 대한 부분적인 이해만을 제공합니다. 이러한 간극을 해소하기 위해, 우리는 다양한 공격 시나리오 하에서 ASR 모델의 강건성에 대한 종합적인 연구를 수행했습니다. 우리는 MORE(Multi-Objective Repetitive Doubling Encouragement)라는 다중 목표 반복적인 강화 공격 방법을 제안합니다. MORE는 계층적인 단계별 반발-고정 메커니즘을 통해 인식 정확도와 추론 효율성을 동시에 저하시킵니다. 구체적으로, 다중 목표 적대적 최적화 문제를 계층적 프레임워크로 재구성하여, 두 가지 목표를 순차적으로 달성합니다. 또한, MORE의 효과를 더욱 증폭시키기 위해, 정확도 저하를 유지하면서 예측된 시퀀스 길이를 주기적으로 두 배로 늘리는 방식으로 중복된 텍스트 생성을 유도하는 새로운 반복적인 강화 목표(REDO)를 제안합니다. 전반적으로, MORE는 ASR 모델이 단일의 적대적 입력에 의해 유발되어, 상당히 높은 계산 비용으로 부정확한 전사 결과를 생성하도록 만듭니다. 실험 결과, MORE는 기존의 기준 모델과 비교했을 때, 지속적으로 훨씬 더 긴 전사 결과를 생성하면서 높은 단어 오류율을 유지하며, 다중 목표 적대적 공격에 대한 효과성을 입증했습니다.

The emergence of large-scale automatic speech recognition (ASR) models such as Whisper has greatly expanded their adoption across diverse real-world applications. Ensuring robustness against even minor input perturbations is therefore critical for maintaining reliable performance in real-time environments. While prior work has mainly examined accuracy degradation under adversarial attacks, robustness with respect to efficiency remains largely unexplored. This narrow focus provides only a partial understanding of ASR model vulnerabilities. To address this gap, we conduct a comprehensive study of ASR robustness under multiple attack scenarios. We introduce MORE, a multi-objective repetitive doubling encouragement attack, which jointly degrades recognition accuracy and inference efficiency through a hierarchical staged repulsion-anchoring mechanism. Specifically, we reformulate multi-objective adversarial optimization into a hierarchical framework that sequentially achieves the dual objectives. To further amplify effectiveness, we propose a novel repetitive encouragement doubling objective (REDO) that induces duplicative text generation by maintaining accuracy degradation and periodically doubling the predicted sequence length. Overall, MORE compels ASR models to produce incorrect transcriptions at a substantially higher computational cost, triggered by a single adversarial input. Experiments show that MORE consistently yields significantly longer transcriptions while maintaining high word error rates compared to existing baselines, underscoring its effectiveness in multi-objective adversarial attack.