ACIArena: 에이전트 연쇄 주입 공격에 대한 통합 평가를 향하여

ACIArena: Toward Unified Evaluation for Agent Cascading Injection

협업 및 정보 공유는 다중 에이전트 시스템(MAS)의 성능을 향상시키지만, 동시에 '에이전트 연쇄 주입(ACI)'이라는 중요한 보안 위험을 초래합니다. 이러한 공격에서, 손상된 에이전트는 에이전트 간의 신뢰를 악용하여 악성 명령을 전파하며, 시스템 전체에 걸쳐 연쇄적인 오류를 발생시킵니다. 그러나 기존 연구들은 제한된 공격 전략과 단순화된 MAS 환경만을 고려하여, 일반화 가능성과 종합적인 평가에 한계를 가지고 있습니다. 이러한 격차를 해소하기 위해, 우리는 MAS의 견고성을 평가하기 위한 통합 프레임워크인 ACIArena를 소개합니다. ACIArena는 다양한 공격 표면(예: 외부 입력, 에이전트 프로필, 에이전트 간 메시지) 및 공격 목표(예: 명령 탈취, 작업 방해, 정보 유출)를 포괄하는 체계적인 평가 도구를 제공합니다. 특히, ACIArena는 MAS 구성 및 공격-방어 모듈을 동시에 지원하는 통합 사양을 정의합니다. ACIArena는 널리 사용되는 6가지 MAS 구현체를 지원하며, MAS의 견고성을 체계적으로 평가하기 위한 1,356개의 테스트 케이스 벤치마크를 제공합니다. 우리의 벤치마킹 결과는 MAS의 견고성을 단순히 토폴로지만 평가하는 것이 불충분하며, 견고한 MAS를 위해서는 신중한 역할 설계와 통제된 상호 작용 패턴이 필요하다는 것을 보여줍니다. 또한, 단순화된 환경에서 개발된 방어 기법은 실제 환경으로 적용될 때 종종 실패하며, 좁은 범위의 방어 기법은 새로운 취약점을 유발할 수도 있습니다. ACIArena는 MAS 설계 원리에 대한 심층적인 연구를 발전시키기 위한 견고한 기반을 제공하는 것을 목표로 합니다.

Collaboration and information sharing empower Multi-Agent Systems (MAS) but also introduce a critical security risk known as Agent Cascading Injection (ACI). In such attacks, a compromised agent exploits inter-agent trust to propagate malicious instructions, causing cascading failures across the system. However, existing studies consider only limited attack strategies and simplified MAS settings, limiting their generalizability and comprehensive evaluation. To bridge this gap, we introduce ACIArena, a unified framework for evaluating the robustness of MAS. ACIArena offers systematic evaluation suites spanning multiple attack surfaces (i.e., external inputs, agent profiles, inter-agent messages) and attack objectives (i.e., instruction hijacking, task disruption, information exfiltration). Specifically, ACIArena establishes a unified specification that jointly supports MAS construction and attack-defense modules. It covers six widely used MAS implementations and provides a benchmark of 1,356 test cases for systematically evaluating MAS robustness. Our benchmarking results show that evaluating MAS robustness solely through topology is insufficient; robust MAS require deliberate role design and controlled interaction patterns. Moreover, defenses developed in simplified environments often fail to transfer to real-world settings; narrowly scoped defenses may even introduce new vulnerabilities. ACIArena aims to provide a solid foundation for advancing deeper exploration of MAS design principles.