LLM 에이전트의 안전성 테스트: 대규모 환경에서의 위험 발굴부터 증거 기반 검증까지

Safety Testing LLM Agents at Scale: From Risk Discovery to Evidence-Grounded Verification

최근 LLM(Large Language Model) 에이전트는 외부 도구를 통해 자율적인 작업을 수행하며, 이는 복잡하고 진화하는 안전 관련 위험을 야기합니다. 그러나 기존의 안전성 테스트는 주로 전문가가 설계한 특정 안전 위반 사례를 대상으로 하며, 그 결과는 미리 정의된 규칙에 의해 평가되므로, 에이전트의 발전과 함께 확장하기 어렵다는 단점이 있습니다. 이러한 문제를 해결하기 위해, 우리는 Vera라는 엔드투엔드의 자동화된 안전성 테스트 프레임워크를 제안합니다. Vera는 소프트웨어 공학적 테스트 원칙을 비결정적인 에이전트에 적용하여 세 단계로 구성된 자기 강화 파이프라인을 통해 작동합니다. 첫째, 문헌 기반 탐색을 통해 지속적으로 새로운 위험을 발견하고 이를 안전 위험, 공격 방법 및 도구 실행 환경의 분류 체계로 구조화합니다. 둘째, 분류 차원 간의 조합을 통해 실행 가능한 안전성 시나리오를 생성하며, 각 시나리오는 구체적인 안전 목표, 프로그래밍 방식으로 구성된 초기 상태, 그리고 관찰 가능한 산출물을 기반으로 한 결정론적 검증 조건을 포함합니다. 셋째, 적응형 실행은 다양한 에이전트를 격리된 환경에서 실행하며, 제어 에이전트는 실시간 관찰 결과를 바탕으로 다중 단계 상호 작용을 관리하고, 모델의 자체 보고 대신 환경 상태 및 도구 호출 증거를 기반으로 검증기가 결과물을 판단합니다. 우리는 Vera를 OpenClaw, Hermes, Codex, Claude Code와 같은 네 가지 실제 에이전트 프레임워크에 적용하여 상당한 안전 취약점을 발견했으며, 멀티 채널 공격 시 평균 공격 성공률은 93.9%에 달했습니다. 또한, 1600개의 실행 가능한 안전성 시나리오를 포함하고 세 가지 실행 환경을 포괄하는 Vera-Bench 데이터셋을 공개합니다. 이러한 결과는 빠르게 진화하는 에이전트 시스템의 대규모 안전 평가를 위한 모듈식이고 실행 가능한 테스트 인프라가 필수적임을 보여줍니다. 관련 코드는 다음 주소에서 확인할 수 있습니다: https://github.com/Yunhao-Feng/Vera.

LLM agents increasingly perform autonomous actions through external tools, leading to complex and evolving safety risks. However, existing safety testing targets expert-designed safety violations, and the corresponding outcomes are evaluated by hard-coded rules, making them costly to extend as agents evolve. To this end, we present Vera, an end-to-end automated safety testing framework that instantiates software engineering testing principles for non-deterministic agents through a three-stage, self-reinforcing pipeline. First, a literature-driven exploration continuously discovers and structures emerging risks into taxonomies of safety risks, attack methods, and tool execution environments. Second, combinatorial composition across taxonomy dimensions produces executable safety cases, each specifying a concrete safety goal, a programmatically constructed initial state, and a deterministic verification predicate grounded in observable artifacts. Third, adaptive execution runs heterogeneous agents in isolated sandboxes where a control agent steers multi-turn interaction based on runtime observations, while evidence-grounded verifiers judge outcomes from environment state and tool-call evidence rather than model self-report. We evaluate Vera on four production agent frameworks (OpenClaw, Hermes, Codex, Claude Code), revealing substantial safety weaknesses, with average attack success rates reaching 93.9\% under multi-channel attacks; we also release Vera-Bench, comprising 1600 executable safety cases spanning 124 risk categories across three execution settings. These results indicate that modular, executable testing infrastructure is essential for rigorous and maintainable safety evaluation of rapidly evolving agentic systems at scale. The code is publicly available at https://github.com/Yunhao-Feng/Vera.