어텐션을 이용한 야생 환경에서의 악성 에이전트 스킬 탐지

Detecting Malicious Agent Skills in the Wild using Attention

LLM 에이전트는 점점 더 많은 기능을 사용하게 되는데, 이 기능들은 제3자가 작성한 자연어 지침으로 구성된 파일 기반 패키지로, 마켓플레이스를 통해 배포되며 사용자 권한으로 실행됩니다. 단 하나의 악성 스킬이라도 데이터를 유출하거나, 에이전트를 탈취하거나, 공급망의 발판을 마련할 수 있으며, 이는 스킬 마켓플레이스를 에이전트 시스템에 대한 새로운 공격 대상으로 만듭니다. 기존의 프롬프트 주입 방어 기술은 이러한 환경에는 적용되지 않습니다. 이러한 기술들은 신뢰할 수 있는 지침과 신뢰할 수 없는 데이터 사이의 경계를 전제로 하지만, 스킬 자체가 지침들의 집합이기 때문에 삽입된 명령어는 많은 합법적인 명령어들 사이에 위치하며, 이들의 권한을 상속받습니다. 우리는 이러한 환경에 적합하도록 설계된 두 단계 탐지기인 Locate-and-Judge를 제시합니다. 경량화된 로케이터는 스킬의 구조적 영역 각각이 따르는 지침에 대한 어텐션 점수를 매겨 가장 높은 상위 K개의 영역만 유지합니다. 그런 다음, 판별기는 유지된 영역들을 자세히 검사합니다. 비용이 많이 드는 판별 작업을 몇 개의 고어텐션 영역에 집중함으로써, 탐지기는 전체 마켓플레이스를 샘플 대신 감사할 수 있습니다. 이 접근 방식은 LLM 기반 직접 스캔에 비해 비용을 10배 절감하여 확장성을 크게 향상시키며, 리콜 손실이 미미한 수준입니다. 또한 동일한 비용으로 키워드 및 정규 표현식 기반 방법보다 훨씬 우수한 성능을 보입니다. Locate-and-Judge는 마켓플레이스 규모로 배포되며 거의 무시할 만한 비용으로 작동하며, 높은 정확도로 악성 스킬을 식별합니다. 저희가 수동으로 검증한 결과, 대부분의 식별된 스킬이 실제로 악성이었으며, 겉보기에는 정상적인 기능으로 위장된 여러 스킬과 SkillSpector 및 Cisco Skill Scanner에서 탐지하지 못하는 많은 스킬들을 발견했습니다. 이 결과를 바탕으로 생성된 라벨링 데이터셋을 공개합니다.

LLM agents increasingly load skills, file-based packages of natural-language instructions written by third parties and distributed through marketplaces, that execute with the user's privileges. A single malicious skill can exfiltrate data, hijack the agent, or persist as a supply-chain foothold, which turns the skill marketplace into a new attack surface for agentic systems. Prompt-injection defenses do not carry over to this setting. They rely on a boundary between trusted instructions and untrusted data, whereas a skill is itself a body of instructions, so an injected command sits among many legitimate ones and inherits their authority. We present Locate-and-Judge, a two-stage detector designed for this regime. A lightweight locator scores the structural spans of a skill by the instruction-following attention each span draws and retains only the top-K. A judge then examines the retained spans in detail. Concentrating the costly judgment on a few high-attention spans lets the detector audit an entire marketplace instead of a sample. Compared to direct LLM-based scanning, this approach offers an order-of-magnitude cost reduction, dramatically increasing its scalability at a small cost to recall, and it dominates keyword and regex baselines at comparable expense. Deployed at marketplace scale and at negligible cost, Locate-and-Judge flags skills with high precision, the majority of which we manually confirmed as malicious, surfacing dozens of live malicious skills, including several disguised as benign functionality and many that SkillSpector and Cisco Skill Scanner fail to detect. We release the resulting labeled dataset.