Cordyceps: 데이터 오염을 통한 LLM에 대한 은밀한 제어 공격

Cordyceps: Covert Control Attacks on LLMs via Data Poisoning

대규모 언어 모델(LLM)은 종종 검증되지 않은 텍스트 데이터셋으로 미세 조정되는데, 이는 악의적인 사용자가 데이터를 조작할 수 있는 취약점을 제공합니다. 기존의 데이터 오염 공격은 주로 고정된 트리거 구문에 의존하며, 이상치 탐지, 깨끗한 데이터 정규화 또는 온라인 모니터링과 같은 방어 기법을 통해 무력화될 수 있습니다. 본 논문에서는 LLM에게 공유 지식(예: 사실이나 개념)과 공격자가 선택한 구문 간의 의미적 연관성을 활용하여 정보를 숨기는 기술을 안정적이고 은밀하게 가르치는 데이터 오염 방법을 제안합니다. 이렇게 유도된 숨김 방식은 임의의 악성 명령어를 인코딩하고 디코딩할 수 있으며, 이는 새로운 유형의 데이터 오염으로 인한 취약점인 '은밀한 제어 공격(covert control attacks)'을 드러냅니다. 본 연구에서는 은밀한 제어 공격을 정확하게 분석하고, 5개의 LLM, 3가지 백도어 방어 기법, 그리고 4가지 프롬프트 주입 방어 기법에 대한 실험을 통해 그 성능을 평가했습니다. 작은 양의 오염된 데이터만으로도, 은밀한 제어 공격은 평균적으로 정교하게 미세 조정된 모델에 비해 약 40% 더 높은 공격 성공률을 보이며, 기존의 휴리스틱 기반 프롬프트 주입 공격보다 우수한 성능을 나타냈습니다. 또한, 이러한 공격은 탐지 및 미세 조정을 통한 방어를 회피하며, 백도어 방어 기법 적용 후에도 최대 93%, 프롬프트 주입 방어 기법 적용 후에는 최대 98%의 높은 공격 성공률을 유지합니다.

Large language models (LLMs) are often fine-tuned on uncurated text datasets that adversaries can poison. Existing poisoning attacks primarily rely on fixed trigger phrases that defenses such as outlier detection, clean-data regularization, or online monitoring can neutralize. In this paper, we propose a data poisoning method that teaches an LLM an information hiding scheme reliably and stealthily through semantic associations between shared knowledge such as facts or concepts and attacker-chosen phrases. The induced hiding scheme can encode and decode arbitrary malicious instructions, thus revealing a new and subtle poisoning-induced vulnerability: covert control attacks. We precisely characterize covert control attacks and evaluate them across $5$ LLMs, $3$ backdoor defenses, and $4$ prompt injection defenses. With a small poisoned fraction, covert control attacks outperform heuristic-based prompt injection attacks in average attack success rate by about $40\%$ relative to clean fine-tuned models. They also circumvent defenses based on detection and fine-tuning, maintaining up to $93\%$ attack success rate after backdoor defenses and up to $98\%$ after prompt injection defenses.