대규모 시각-언어 모델에 대한 물리적 프롬프트 주입 공격

Physical Prompt Injection Attacks on Large Vision-Language Models

대규모 시각-언어 모델(LVLM)은 실제 환경에서의 인식 및 추론을 위해 점점 더 많은 지능형 시스템에 활용되고 있습니다. LVLM은 프롬프트 주입 공격에 취약한 것으로 알려져 있지만, 기존 방법들은 입력 채널에 대한 접근이 필요하거나 사용자 쿼리에 대한 지식을 필요로 하며, 이는 실제 배포 환경에서 거의 현실적이지 않습니다. 본 연구에서는 물리적 프롬프트 주입 공격(PPIA)을 제안합니다. PPIA는 블랙박스 방식으로, 사용자 쿼리에 의존하지 않는 공격 방식으로, LVLM이 인식할 수 있는 물리적 객체에 악의적인 텍스트 지침을 포함합니다. PPIA는 모델, 입력 또는 내부 파이프라인에 대한 접근이 필요 없으며, 오직 시각적 관찰을 통해서만 작동합니다. PPIA는 높은 인지도를 가진 시각적 프롬프트를 오프라인에서 선택하고, 시공간적 주의를 활용하여 환경에 맞는 전략적인 위치에 배치하여, 주입된 프롬프트가 인식 가능하고 모델의 동작에 영향을 미치도록 합니다. 시뮬레이션 및 실제 환경에서 시각 질의 응답, 계획 및 탐색 작업을 포함한 10개의 최첨단 LVLM에 대해 PPIA를 평가한 결과, 공격 성공률이 최대 98%에 달했으며, 거리, 시점 및 조명과 같은 다양한 물리적 조건에서도 강한 견고성을 보였습니다. 본 연구의 코드는 다음 링크에서 공개적으로 이용할 수 있습니다: https://github.com/2023cghacker/Physical-Prompt-Injection-Attack.

Large Vision-Language Models (LVLMs) are increasingly deployed in real-world intelligent systems for perception and reasoning in open physical environments. While LVLMs are known to be vulnerable to prompt injection attacks, existing methods either require access to input channels or depend on knowledge of user queries, assumptions that rarely hold in practical deployments. We propose the first Physical Prompt Injection Attack (PPIA), a black-box, query-agnostic attack that embeds malicious typographic instructions into physical objects perceivable by the LVLM. PPIA requires no access to the model, its inputs, or internal pipeline, and operates solely through visual observation. It combines offline selection of highly recognizable and semantically effective visual prompts with strategic environment-aware placement guided by spatiotemporal attention, ensuring that the injected prompts are both perceivable and influential on model behavior. We evaluate PPIA across 10 state-of-the-art LVLMs in both simulated and real-world settings on tasks including visual question answering, planning, and navigation, PPIA achieves attack success rates up to 98%, with strong robustness under varying physical conditions such as distance, viewpoint, and illumination. Our code is publicly available at https://github.com/2023cghacker/Physical-Prompt-Injection-Attack.