블루 팀 기능 호출 에이전트

Blue Teaming Function-Calling Agents

본 논문에서는 기능 호출 능력을 갖는 것으로 주장하는 네 가지 오픈 소스 LLM의 견고성을 세 가지 공격에 대한 실험적 평가를 통해 분석하고, 여덟 가지 방어 기법의 효과성을 측정합니다. 연구 결과는 이러한 모델들이 기본적으로 안전하지 않으며, 현재 개발된 방어 기법들은 실제 환경에서 활용하기 어렵다는 것을 보여줍니다.

We present an experimental evaluation that assesses the robustness of four open source LLMs claiming function-calling capabilities against three different attacks, and we measure the effectiveness of eight different defences. Our results show how these models are not safe by default, and how the defences are not yet employable in real-world scenarios.