에이전트 감사: LLM 에이전트 애플리케이션을 위한 보안 분석 시스템

Agent Audit: A Security Analysis System for LLM Agent Applications

개발자가 LLM 에이전트를 배포하기 전에 무엇을 검토해야 할까요? 모델, 도구 코드, 배포 설정, 아니면 이 세 가지 모두일까요? 실제로 에이전트 시스템에서 발생하는 많은 보안 문제는 모델 자체의 가중치 때문이 아니라, 주변 소프트웨어 스택에서 비롯되는 경우가 많습니다. 예를 들어, 신뢰할 수 없는 입력을 위험한 작업으로 전달하는 도구 함수, 배포 파일에 노출된 자격 증명, 과도한 권한을 가진 모델 컨텍스트 프로토콜(MCP) 설정 등이 있습니다. 본 논문에서는 LLM 에이전트 애플리케이션을 위한 보안 분석 시스템인 '에이전트 감사'를 소개합니다. 에이전트 감사는 데이터 흐름 분석, 자격 증명 탐지, 구조화된 설정 파싱, 권한-위험 검사를 결합한 에이전트 인지 파이프라인을 통해 Python 에이전트 코드와 배포 파일을 분석합니다. 이 시스템은 결과를 터미널, JSON, SARIF 형식으로 보고하여 로컬 개발 워크플로우 및 CI/CD 파이프라인과의 직접적인 통합을 지원합니다. 22개의 샘플로 구성된 벤치마크에서 42개의 알려진 취약점이 있는 경우, 에이전트 감사는 6개의 오탐을 발생시키면서 40개의 취약점을 탐지하여 일반적인 SAST 기준보다 훨씬 높은 정확도를 제공하며, 동시에 스캔 시간을 1초 미만으로 유지합니다. 에이전트 감사는 오픈 소스이며 pip를 통해 설치할 수 있어 에이전트 시스템에 대한 보안 감사를 쉽게 수행할 수 있습니다. 라이브 데모에서는 참가자들이 취약한 에이전트 저장소를 스캔하고 에이전트 감사가 도구 함수, 프롬프트 등에서 보안 위험을 어떻게 식별하는지 확인할 수 있습니다. 발견된 내용은 소스 위치 및 설정 경로와 연결되어 있으며, VS Code 및 GitHub 코드 스캔으로 내보내어 대화형 검사를 수행할 수 있습니다.

What should a developer inspect before deploying an LLM agent: the model, the tool code, the deployment configuration, or all three? In practice, many security failures in agent systems arise not from model weights alone, but from the surrounding software stack: tool functions that pass untrusted inputs to dangerous operations, exposed credentials in deployment artifacts, and over-privileged Model Context Protocol (MCP) configurations. We present Agent Audit, a security analysis system for LLM agent applications. Agent Audit analyzes Python agent code and deployment artifacts through an agent-aware pipeline that combines dataflow analysis, credential detection, structured configuration parsing, and privilege-risk checks. The system reports findings in terminal, JSON, and SARIF formats, enabling direct integration with local development workflows and CI/CD pipelines. On a benchmark of 22 samples with 42 annotated vulnerabilities, Agent Audit detects 40 vulnerabilities with 6 false positives, substantially improving recall over common SAST baselines while maintaining sub-second scan times. Agent Audit is open source and installable via pip, making security auditing accessible for agent systems. In the live demonstration, attendees scan vulnerable agent repositories and observe how Agent Audit identifies security risks in tool functions, prompts, and more. Findings are linked to source locations and configuration paths, and can be exported into VS Code and GitHub Code Scanning for interactive inspection.