프롬프트 공격에 대한 방어: 표면적인 휴리스틱 학습

Defenses Against Prompt Attacks Learn Surface Heuristics

대규모 언어 모델(LLM)은 점점 더 많은 보안이 중요한 애플리케이션에 사용되고 있으며, 여기서 모델은 의도된 작업 동작을 정의하는 시스템 또는 개발자가 지정한 지침을 따르면서도 안전한 사용자 요청을 처리해야 합니다. 적대적인 지침이 사용자 쿼리나 외부에서 가져온 콘텐츠에 나타나면 모델이 의도된 논리를 무시할 수 있습니다. 최근의 방어 기법은 안전한 데이터와 악성 데이터로 레이블링된 데이터를 사용하여 지도 학습 방식으로 모델을 미세 조정하는 데 의존합니다. 이러한 방법은 높은 공격 거부율을 달성하지만, 우리는 이러한 방법이 유해한 의도보다는 방어 데이터 내의 좁은 상관 관계에 의존하며, 이로 인해 안전한 입력이 체계적으로 거부되는 현상이 발생한다는 것을 발견했습니다. 우리는 방어 미세 조정으로 인해 발생하는 세 가지 반복적인 단축 경로 동작을 분석했습니다. 첫째, *위치 편향(position bias)*은 프롬프트의 나중에 위치한 안전한 콘텐츠가 훨씬 높은 비율로 거부되는 현상입니다. 추론 벤치마크에서, 후행 작업 거부율이 10% 미만에서 90%까지 상승합니다. 둘째, *토큰 트리거 편향(token trigger bias)*은 공격 데이터에서 흔히 나타나는 문자열이 안전한 맥락에서도 거부 확률을 높이는 현상입니다. 단 하나의 트리거 토큰을 삽입하는 것만으로도 오탐(false refusal)이 최대 50%까지 증가합니다. 셋째, *토픽 일반화 편향(topic generalization bias)*은 방어 데이터 분포를 벗어난 일반화 성능의 부족을 반영하며, 방어된 모델은 최대 40%의 테스트 시간 정확도 감소를 보입니다. 이러한 결과는 현재의 프롬프트 주입 방어 기법이 종종 근본적인 의도보다는 공격과 유사한 표면 패턴에 반응한다는 것을 시사합니다. 우리는 통제된 진단 데이터 세트를 도입하고 두 가지 기본 모델 및 여러 방어 파이프라인에 대한 체계적인 평가를 수행하여, 신뢰할 수 있는 LLM 보안을 위한 지도 학습의 한계를 강조합니다.

Large language models (LLMs) are increasingly deployed in security-sensitive applications, where they must follow system- or developer-specified instructions that define the intended task behavior, while completing benign user requests. When adversarial instructions appear in user queries or externally retrieved content, models may override intended logic. Recent defenses rely on supervised fine-tuning with benign and malicious labels. Although these methods achieve high attack rejection rates, we find that they rely on narrow correlations in defense data rather than harmful intent, leading to systematic rejection of safe inputs. We analyze three recurring shortcut behaviors induced by defense fine-tuning. \emph{Position bias} arises when benign content placed later in a prompt is rejected at much higher rates; across reasoning benchmarks, suffix-task rejection rises from below \textbf{10\%} to as high as \textbf{90\%}. \emph{Token trigger bias} occurs when strings common in attack data raise rejection probability even in benign contexts; inserting a single trigger token increases false refusals by up to \textbf{50\%}. \emph{Topic generalization bias} reflects poor generalization beyond the defense data distribution, with defended models suffering test-time accuracy drops of up to \textbf{40\%}. These findings suggest that current prompt-injection defenses frequently respond to attack-like surface patterns rather than the underlying intent. We introduce controlled diagnostic datasets and a systematic evaluation across two base models and multiple defense pipelines, highlighting limitations of supervised fine-tuning for reliable LLM security.