Cascade: 복합 인공지능 시스템의 적대적 위협 증폭을 위한 소프트웨어-하드웨어 공격 모듈 조합

Cascade: Composing Software-Hardware Attack Gadgets for Adversarial Threat Amplification in Compound AI Systems

생성형 인공지능 분야의 빠른 발전으로 인해 여러 대규모 언어 모델(LLM), 소프트웨어 도구 및 데이터베이스 시스템으로 구성된 복합 인공지능 시스템이 등장했습니다. 복합 인공지능 시스템은 분산된 하드웨어 인프라 위에 구축된 계층화된 기존 소프트웨어 스택을 기반으로 합니다. 다양한 소프트웨어 구성 요소 중 많은 부분이 Common Vulnerabilities and Exposures (CVE) 데이터베이스에 기록된 기존 보안 취약점에 노출되어 있으며, 하위 분산 하드웨어 인프라는 타이밍 공격, 비트 플립 오류 및 전력 기반 측면 채널 공격에 취약합니다. 현재 연구는 모델 추출, 학습 데이터 유출, 안전하지 않은 생성 등 LLM에 특화된 위험에 초점을 맞추고 있지만, 기존 시스템 취약점이 미치는 영향은 간과되고 있습니다. 본 연구는 기존 소프트웨어 및 하드웨어 취약점이 LLM에 특화된 알고리즘 공격과 어떻게 결합되어 복합 인공지능 파이프라인의 무결성을 손상시킬 수 있는지 조사합니다. 본 연구에서는 시스템 수준 취약점과 알고리즘적 취약점을 결합하는 두 가지 새로운 공격을 시연합니다. (1) 소프트웨어 코드 주입 취약점을 활용하고, 동시에 가드레일 Rowhammer 공격을 수행하여 LLM에 수정되지 않은 탈옥 프롬프트를 주입함으로써 AI 안전 위반을 유발하고, (2) 지식 데이터베이스를 조작하여 LLM 에이전트가 민감한 사용자 데이터를 악성 애플리케이션으로 전송하도록 유도하여 기밀성을 침해합니다. 이러한 공격은 기존 취약점을 해결해야 할 필요성을 강조합니다. 우리는 공격 원리를 체계화하고, 취약점을 목표에 따라 그룹화하여 공격 수명 주기의 다양한 단계에 매핑함으로써 분석합니다. 이러한 접근 방식은 엄격한 레드 팀 활동을 가능하게 하며, 향후 방어 전략의 기초를 제공합니다.

Rapid progress in generative AI has given rise to Compound AI systems - pipelines comprised of multiple large language models (LLM), software tools and database systems. Compound AI systems are constructed on a layered traditional software stack running on a distributed hardware infrastructure. Many of the diverse software components are vulnerable to traditional security flaws documented in the Common Vulnerabilities and Exposures (CVE) database, while the underlying distributed hardware infrastructure remains exposed to timing attacks, bit-flip faults, and power-based side channels. Today, research targets LLM-specific risks like model extraction, training data leakage, and unsafe generation -- overlooking the impact of traditional system vulnerabilities. This work investigates how traditional software and hardware vulnerabilities can complement LLM-specific algorithmic attacks to compromise the integrity of a compound AI pipeline. We demonstrate two novel attacks that combine system-level vulnerabilities with algorithmic weaknesses: (1) Exploiting a software code injection flaw along with a guardrail Rowhammer attack to inject an unaltered jailbreak prompt into an LLM, resulting in an AI safety violation, and (2) Manipulating a knowledge database to redirect an LLM agent to transmit sensitive user data to a malicious application, thus breaching confidentiality. These attacks highlight the need to address traditional vulnerabilities; we systematize the attack primitives and analyze their composition by grouping vulnerabilities by their objective and mapping them to distinct stages of an attack lifecycle. This approach enables a rigorous red-teaming exercise and lays the groundwork for future defense strategies.