ActBench: 협업 에이전트의 안전한 행동을 평가하는 자기 진화형 벤치마크

ActBench: Self-Evolving Benchmark of Behavioral Safety in Cowork Agents

협업 에이전트는 유용한 작업을 수행하면서도 민감한 데이터를 노출하거나, 승인되지 않은 상태를 조작하고, 허가받지 않은 API를 호출할 수 있습니다. 본 논문에서는 행동 안전성을 정의하고, 실행 경로를 기반으로 이러한 위험을 평가하는 자기 진화형 벤치마크인 ActBench를 소개합니다. 각 테스트 케이스는 무해한 작업과 함께, 동일한 지시사항, 구성, 초기 상태, 평가 모델 및 신뢰 기록을 유지하면서도 공격 가능한 페이로드를 삽입한 적대적 변형으로 구성됩니다. ActBench는 213개의 시나리오에서 파생된 600개의 테스트 케이스를 포함하며, 15가지의 위험 행동, 6가지 실행 환경 및 48개의 웹 서비스 API를 포괄합니다. 정적인 페이로드에 국한되지 않도록, 공격 성공률과 작업 유용성을 동시에 최적화하는 보상 기반 빔 서치 방법을 제안합니다. 또한, 실패한 실행 지점을 진단하고 페이로드 수정 방향을 제시하며, 로그 증거와 LLM 기반의 실행 경로 증거를 통해 에이전트의 안전성과 효용성을 검증하는 이중 증거 확인 메커니즘을 제안합니다. 15개의 LLM과 6개의 오픈 소스 협업 에이전트를 대상으로 24,000개의 실행 경로에 대한 평가를 수행했습니다. 고정된 환경에서 공격 성공률은 모델별로 10.1%에서 94.4%까지의 범위를 보였으며, 고정된 기본 모델에서는 에이전트별로 73.7%에서 94.4%까지의 범위를 보였습니다. 이러한 결과는 환경보다는 모델 간에 더 큰 차이를 나타내지만, 테스트된 모든 환경에서 공격은 여전히 매우 성공적입니다. ActBench는 다음 주소에서 공개됩니다: https://github.com/zjuicsr/ActBench.

Cowork agents may complete benign tasks while disclosing protected data, manipulating unauthorized state, invocate unauthorized API. We define behavioral safety and introduce ActBench, a self-evolving benchmark that evaluates such behavior risk from execution trajectories rather than final responses. Each case pairs a benign task with an adversarial variant that preserves its instruction, configuration, initial state, rating model, and trusted records while injecting a task-reachable payload. ActBench contains 600 cases from 213 scenarios, spanning 15 risk behaviors, six execution spaces, and 48 web-service APIs.To move beyond static payloads, we propose a reward-guided beam search method that jointly optimizes attack effectiveness and task utility, while reflection diagnoses failed execution checkpoint and guides payload revision. Besides, we propose a dual evidence verification mechanism that verifies agent execution safety and utility through log evidence and LLM-based trajectory evidence.We evaluate 15 LLMs and 6 open-source cowork agents over 24,000 trajectories. Under a fixed harness, attack success rates ranges from 10.1% to 94.4% across models, while under a fixed base model, they range from 73.7% to 94.4% across agents.These results show greater variation across models than agent harness, while attacks remain highly successful across all tested harnesses.Our benchmark is released at: https://github.com/zjuicsr/ActBench.