TrinityGuard: 다중 에이전트 시스템 보호를 위한 통합 프레임워크

TrinityGuard: A Unified Framework for Safeguarding Multi-Agent Systems

LLM 기반 다중 에이전트 시스템(MAS)의 급속한 발전과 함께, 심각한 안전 및 보안 문제가 발생하고 있으며, 이는 개별 에이전트 또는 LLM만으로는 해결하기 어려운 새로운 위험을 초래합니다. 기존 연구에서는 이러한 문제에 대한 시도가 있었지만, MAS의 특수한 위험에 특화된 통합적인 보호 시스템은 부족합니다. 본 연구에서는 OWASP 표준을 기반으로 LLM 기반 MAS의 포괄적인 안전성 평가 및 모니터링 프레임워크인 TrinityGuard를 소개합니다. TrinityGuard는 20가지의 위험 유형을 식별하는 세 단계로 구성된 정교한 위험 분류 체계를 포함하며, 이는 개별 에이전트의 취약점, 에이전트 간 통신 위협, 그리고 시스템 수준의 잠재적 위험을 포괄합니다. TrinityGuard는 다양한 MAS 구조 및 플랫폼에 적용 가능하도록 설계되었으며, MAS 추상화 레이어, 위험별 테스트 모듈을 포함하는 평가 레이어, 그리고 통합된 LLM Judge Factory에 의해 조정되는 런타임 모니터 에이전트로 구성됩니다. 평가 과정에서 TrinityGuard는 선별된 공격 시나리오를 실행하여 각 위험 유형에 대한 상세한 취약점 보고서를 생성하며, 모니터 에이전트는 구조화된 실행 추적을 분석하여 실시간 경고를 발행합니다. 이를 통해 개발 이전 단계의 평가와 런타임 모니터링이 모두 가능합니다. 또한, 우리는 이러한 안전성 지표를 공식화하고 다양한 대표적인 MAS 사례에 대한 상세한 사례 연구를 제시하여 TrinityGuard의 다양성과 신뢰성을 입증합니다. 전반적으로, TrinityGuard는 MAS의 다양한 위험을 평가하고 모니터링하는 포괄적인 프레임워크로서, MAS의 안전 및 보안 연구를 위한 기반을 마련합니다.

With the rapid development of LLM-based multi-agent systems (MAS), their significant safety and security concerns have emerged, which introduce novel risks going beyond single agents or LLMs. Despite attempts to address these issues, the existing literature lacks a cohesive safeguarding system specialized for MAS risks. In this work, we introduce TrinityGuard, a comprehensive safety evaluation and monitoring framework for LLM-based MAS, grounded in the OWASP standards. Specifically, TrinityGuard encompasses a three-tier fine-grained risk taxonomy that identifies 20 risk types, covering single-agent vulnerabilities, inter-agent communication threats, and system-level emergent hazards. Designed for scalability across various MAS structures and platforms, TrinityGuard is organized in a trinity manner, involving an MAS abstraction layer that can be adapted to any MAS structures, an evaluation layer containing risk-specific test modules, alongside runtime monitor agents coordinated by a unified LLM Judge Factory. During Evaluation, TrinityGuard executes curated attack probes to generate detailed vulnerability reports for each risk type, where monitor agents analyze structured execution traces and issue real-time alerts, enabling both pre-development evaluation and runtime monitoring. We further formalize these safety metrics and present detailed case studies across various representative MAS examples, showcasing the versatility and reliability of TrinityGuard. Overall, TrinityGuard acts as a comprehensive framework for evaluating and monitoring various risks in MAS, paving the way for further research into their safety and security.