프롬프트 너머: 시뮬레이션된 검열 추적을 통한 함수 호출 LLM의 제약 우회 공격

Beyond the Prompt: Jailbreaking Function-Calling LLMs via Simulated Moderation Traces

제약 우회 공격은 대규모 언어 모델(LLM)의 안전한 배포에 있어 중요한 위협입니다. 기존 연구에서는 주로 프롬프트 수준에서의 공격과 방어를 다루었지만, 본 논문에서는 상태 기반의 함수 호출 환경에서 발생하는 구조적인 취약점을 지적합니다. 이러한 애플리케이션에서 개발자가 정의한 스키마, 구조화된 인수, 그리고 신뢰할 수 없는 도구의 출력은 하나의 공유 모델 컨텍스트 내에 통합됩니다. 이 아키텍처는 신뢰할 수 있는 제어 로직과 신뢰할 수 없는 데이터 사이의 경계를 흐리게 만들어 공격 표면을 넓히며, 적대적인 의도가 다중 턴 실행 경로 전체로 분산될 수 있도록 합니다. 본 연구에서는 SMT(Simulated Moderation Traces)라는 블랙박스 공격 프레임워크를 사용하여 이 아키텍처적 결함을 활용합니다. SMT는 기존의 프롬프트 기반 상호 작용에서 벗어나, 합법적인 검열 감사 워크플로우를 시뮬레이션하는 다중 턴 경로를 구성합니다. 이 경로 내에서, 조작된 검열 프레임은 레드팀 테스트를 가장으로 사용하여 유해한 콘텐츠 생성을 유도합니다. 이후의 검증 피드백은 안전 거부를 실행 실패로 간주하여 모델의 안전 제약을 점진적으로 약화시키고 궁극적으로 유해한 출력을 발생시킵니다. 다섯 개의 서로 다른 제공업체에서 제공하는 주요 상용 LLM에 대한 광범위한 실험 결과, SMT는 두 가지 표준 안전성 벤치마크에서 가장 높은 평균 공격 성공률과 피해 점수를 보였으며, 기존의 기준 성능을 크게 능가했습니다. 이러한 결과는 프롬프트 수준의 필터링만으로는 도구 기반 LLM 시스템을 보호하는 데 근본적으로 부족하며, 스키마, 인수, 도구 출력 및 누적 대화 상태 전반에 걸친 컨텍스트 인식 검증의 시급한 필요성을 강조합니다. 코드 저장소는 https://github.com/liujlong27/SMT 에서 확인할 수 있습니다.

Jailbreak attacks remain a critical threat to the safe deployment of large language models (LLMs). While prior work has primarily studied attacks and defenses at the prompt level, we show that this prompt-centric paradigm overlooks a structural vulnerability in stateful, function-calling environments. In such applications, developer-defined schemas, structured arguments, and untrusted tool outputs are interleaved into a single shared model context. This architecture expands the attack surface by blurring the boundary between trusted control logic and untrusted data, allowing adversarial intent to be distributed across a multi-turn execution path. We exploit this architectural flaw through SMT, a black-box attack framework based on Simulated Moderation Traces. Departing from purely prompt-based interactions, SMT constructs a multi-turn trajectory that simulates a legitimate moderation-auditing workflow. Within this trajectory, a fabricated moderation frame leverages red-team testing as a pretext to elicit harmful generations. The subsequent validation feedback treats safety refusals as execution failures, prompting refinements that gradually weaken the model's safety constraints and ultimately trigger harmful outputs. Extensive empirical evaluations on prominent commercial LLMs from five different providers across two standardized safety benchmarks show that SMT consistently achieves the highest average attack success rate and HarmScore while requiring a near-minimal number of queries, substantially outperforming existing baselines. These findings demonstrate that prompt-level sanitization alone is fundamentally insufficient for defending tool-enabled LLM systems and highlight the urgent need for context-aware validation across schemas, arguments, tool outputs, and accumulated conversation state. The code is available at https://github.com/liujlong27/SMT.