런타임 스킬 감사: 에이전트 스킬 보안을 위한 대상 기반 런타임 검사

Runtime Skill Audit: Targeted Runtime Probing for Agent Skill Security

에이전트 스킬은 LLM 에이전트가 명령어, 리소스, 도구 및 워크플로우를 재사용할 수 있도록 하지만, 동시에 악성 행위가 숨겨질 수 있는 새로운 영역을 생성합니다. 특정 사용자 요청, 로컬 자산, 지속적인 상태 또는 다단계 도구 상호 작용과 함께 호출될 때만 유해하게 작동하는 스킬이 문서나 코드에서는 무해해 보일 수 있습니다. 따라서 순수하게 정적 검증 방식은 취약할 수밖에 없습니다. 본 논문에서는 런타임 스킬 감사(RSA)라는 동적 분석 방법을 제시합니다. RSA는 대상 기반의 런타임 조건 하에서 에이전트가 실제로 수행하는 작업을 파악하여 스킬을 감사합니다. RSA는 모든 스킬을 동일한 일반적인 작업으로 테스트하는 대신, 위험 관련 인터페이스를 프로파일링하고, 이러한 인터페이스를 실행하기 위한 필요한 실행 컨텍스트를 준비하며, 결과적으로 생성되는 추적 증거를 기반으로 보안 레이블을 할당합니다. 우리는 OpenClaw 플랫폼에서 RSA를 구현하고 100개의 스킬에 대해 대표적인 정적 기준선과 비교하여 평가했습니다. RSA는 90.0%의 정확도를 달성했으며, 이는 최고의 정적 기준선보다 13.0%p 더 높은 수치입니다. 또한, 자기 진화 공격 하에서 정적 탐지기는 한두 번의 반복 후 성능이 저하되는 반면, RSA는 여러 반복을 거쳐 20개의 악성 스킬 중 19~20개를 지속적으로 탐지합니다.

Agent skills let LLM agents reuse instructions, resources, tools, and workflows, but they also create a new place for malicious behavior to hide. A skill may look benign in its documentation or code while becoming harmful only when it is invoked with particular user requests, local assets, persistent state, or multi-step tool interactions. This makes purely static vetting brittle. We present Runtime Skill Audit (RSA), a dynamic analysis method that audits skills by asking what the skill-mediated agent actually does under targeted runtime conditions. Instead of testing every skill with the same generic tasks, RSA profiles risk-relevant interfaces, prepares the execution context needed to exercise them, and assigns security labels from the resulting trace evidence. We instantiate RSA on OpenClaw and evaluate it on 100 skills against representative static baselines. RSA achieves 90.0\% accuracy with an 88.0\% true positive rate and an 8.0\% false positive rate, improving accuracy by 13.0 percentage points over the best static baseline. Under self-evolving attacks, static detectors collapse after one or two rounds, while RSA continues to detect 19--20 out of 20 malicious skills across rounds.