AgentLAB: LLM 에이전트를 장기 공격에 대한 벤치마킹

AgentLAB: Benchmarking LLM Agents against Long-Horizon Attacks

LLM 에이전트는 점점 더 복잡하고 장기적인 환경에서 어려운 문제를 해결하기 위해 활용되고 있지만, 이러한 확장은 다중 턴 사용자-에이전트-환경 상호작용을 악용하여 단일 턴 환경에서는 불가능한 목표를 달성하는 장기 공격에 에이전트를 노출시킵니다. 이러한 위험에 대한 에이전트의 취약성을 측정하기 위해, 우리는 LLM 에이전트의 적응적이고 장기적인 공격에 대한 민감성을 평가하는 데 전념하는 최초의 벤치마크인 AgentLAB을 제시합니다. 현재 AgentLAB은 의도 탈취, 도구 체이닝, 작업 주입, 목표 변화, 메모리 오염 등 5가지 새로운 공격 유형을 지원하며, 28개의 현실적인 에이전트 환경과 644개의 보안 테스트 사례를 포함합니다. AgentLAB을 활용하여 대표적인 LLM 에이전트를 평가한 결과, 이들이 여전히 장기 공격에 매우 취약하다는 것을 확인했으며, 단일 턴 상호작용을 위해 설계된 방어 메커니즘은 장기적인 위협을 효과적으로 완화하지 못한다는 것을 알게 되었습니다. AgentLAB은 실제 환경에서 LLM 에이전트의 보안을 강화하기 위한 발전을 추적하는 데 유용한 벤치마크 역할을 할 것으로 예상됩니다. 이 벤치마크는 https://tanqiujiang.github.io/AgentLAB_main 에서 공개적으로 이용할 수 있습니다.

LLM agents are increasingly deployed in long-horizon, complex environments to solve challenging problems, but this expansion exposes them to long-horizon attacks that exploit multi-turn user-agent-environment interactions to achieve objectives infeasible in single-turn settings. To measure agent vulnerabilities to such risks, we present AgentLAB, the first benchmark dedicated to evaluating LLM agent susceptibility to adaptive, long-horizon attacks. Currently, AgentLAB supports five novel attack types including intent hijacking, tool chaining, task injection, objective drifting, and memory poisoning, spanning 28 realistic agentic environments, and 644 security test cases. Leveraging AgentLAB, we evaluate representative LLM agents and find that they remain highly susceptible to long-horizon attacks; moreover, defenses designed for single-turn interactions fail to reliably mitigate long-horizon threats. We anticipate that AgentLAB will serve as a valuable benchmark for tracking progress on securing LLM agents in practical settings. The benchmark is publicly available at https://tanqiujiang.github.io/AgentLAB_main.