SkillsMetric: 악성 에이전트의 기능을 탐지하는 정적 분석의 경계 설정

SkillsMetric: Mapping the Detection Boundary of Static Analysis for Malicious Agent Skills

에이전트 스킬(Agent Skills)은 LLM 기반 에이전트를 강화하는 구조화된 명령어 및 스크립트 모음으로, 빠르게 확산되고 있지만 그 보안 특성은 아직 충분히 연구되지 않았습니다. 본 논문에서는 패턴 밀도, 통계적 이상 현상, 데이터 흐름 오염, 임포트 이상 및 기능 불일치 측면에서 스킬 패키지를 평가하는 5단계 정적 분석 프레임워크인 extsc{SkillsMetric}을 제시합니다. 코드 레벨, 시스템 레벨 및 의미 레벨의 다양한 위협(총 16가지 공격 유형)에 걸쳐 2,266개의 스킬을 포함하는 적대적인 평가 데이터 세트를 구축하고, SkillMD-138K 전체 코퍼스에 대한 평가를 수행했습니다. 저희 프레임워크는 AUC가 0.93이고, 5배 교차 검증 결과 F1 점수가 73.4% ± 0.5%로 나타났으며, 데이터 유출(93%) 및 스테그노그래피 페이로드(93%) 탐지 성능이 뛰어납니다. 특히, 중요한 보안 취약점을 발견했습니다. 일반적인 셸 명령어를 사용하는 호스트 파괴 공격은 모든 5단계에서 탐지되지 않았고(0% 탐지), 자연어 조작을 통한 프롬프트 인젝션 공격은 42%의 낮은 탐지율을 보였습니다. 이러한 결과는 정적 분석만으로는 스킬 보안을 확보하기에 충분하지 않다는 점을 시사하며, 빠른 정적 사전 검사와 의미론적 검토를 결합한 심층 방어 아키텍처의 필요성을 강조합니다.

Agent Skills---structured packages of instructions and scripts that augment LLM-based agents---are rapidly proliferating, yet their security properties remain under-explored. We present \textsc{SkillsMetric}, a five-stage static analysis framework that scores skill packages along pattern density, statistical anomaly, dataflow taint, import anomaly, and capability mismatch dimensions. We construct an adversarial evaluation dataset of 2{,}266 skills spanning 16~attack types across code-level, system-level, and semantic-level threats, and evaluate on the full SkillMD-138K corpus. Our framework achieves an AUC of 0.93 and 5-fold cross-validated F1 of 73.4\%$\pm$0.5\%, with strong detection of data exfiltration (93\%) and steganographic payloads (93\%). Crucially, we identify fundamental blind spots: \emph{host destruction} attacks using common shell commands evade all five stages (0\% detection), and \emph{prompt injection} via natural-language manipulation achieves only 42\% detection. These findings establish that static analysis alone is insufficient for skill security, motivating defense-in-depth architectures that combine fast static pre-screening with semantic review.