Semia: 제약 조건 기반 표현 합성(Constraint-Guided Representation Synthesis)을 통한 에이전트 기술 감사

Semia: Auditing Agent Skills via Constraint-Guided Representation Synthesis

에이전트 기술은 LLM(Large Language Model) 기반 에이전트에 구체적인 기능을 제공하는 구성 요소 패키지입니다. 예를 들어, 이메일 읽기, 셸 명령어 실행, 블록체인 트랜잭션 서명 등이 있습니다. 각 기술은 구조화된 부분(실행 가능한 인터페이스를 선언)과 텍스트 기반 부분(인터페이스가 언제, 어떻게 실행되는지 정의)으로 구성된 하이브리드 아티팩트이며, 텍스트 부분은 호출될 때마다 확률적으로 재해석됩니다. 기존의 정적 분석 도구는 구조화된 부분만 파싱하고 텍스트 부분을 무시하는 반면, LLM 기반 도구는 텍스트 부분을 읽지만, 악성 입력이 중요한 지점에 도달하는지 재현 가능하게 증명할 수 없습니다. 본 논문에서는 에이전트 기술을 감사하는 정적 분석 도구인 Semia를 소개합니다. Semia는 각 기술을 Skill Description Language (SDL)로 변환합니다. SDL은 LLM에 의해 트리거되는 작업, 텍스트 기반으로 정의된 조건, 그리고 인간 개입 지점을 포함하는 Datalog 사실 기반입니다. 구조적으로 건전하고 원본 텍스트의 의미를 충실히 반영하는 사실 기반을 합성하는 것이 핵심적인 과제이며, 우리는 제약 조건 기반 표현 합성(CGRS)이라는 제안-검증-평가 루프를 통해 이 문제를 해결합니다. 에이전트 기술에 대한 보안 속성(예: 간접 주입, 비밀 정보 유출, 권한 남용 등)은 Datalog 도달 가능성 쿼리로 변환될 수 있습니다. 우리는 공개 마켓플레이스에서 수집한 13,728개의 실제 에이전트 기술에 대해 Semia를 평가했습니다. Semia는 이 모든 기술을 감사 가능하게 만들며, 그중 절반 이상이 적어도 하나의 중요한 의미적 위험을 가지고 있는 것으로 나타났습니다. 전문가가 레이블링한 541개의 에이전트 기술 샘플에 대해 Semia는 97.7%의 재현율과 90.6%의 F1 점수를 달성하여, 기존의 시그니처 기반 스캐너 및 LLM 기반 도구보다 훨씬 뛰어난 성능을 보였습니다.

An agent skill is a configuration package that equips an LLM-driven agent with a concrete capability, such as reading email, executing shell commands, or signing blockchain transactions. Each skill is a hybrid artifact-a structured half declares executable interfaces, while a prose half dictates when and how those interfaces fire-and the prose is reinterpreted probabilistically on every invocation. Conventional static analyzers parse the structured half but ignore the prose; LLM-based tools read the prose but cannot reproducibly prove that a tainted input reaches a high-impact sink. We present Semia, a static auditor for agent skills. Semia lifts each skill into the Skill Description Language (SDL), a Datalog fact base that captures LLM-triggered actions, prose-defined conditions, and human-in-the-loop checkpoints. Synthesizing a fact base that is both structurally sound and semantically faithful to the original prose is the central challenge; we address it with Constraint-Guided Representation Synthesis (CGRS), a propose-verify-evaluate loop that refines LLM candidates until convergence. Security properties (e.g., indirect injection, secret leakage, confused deputies, unguarded sinks, etc.) over an agent skill can then be reduced to Datalog reachability queries. We evaluate Semia on 13,728 real-world skills from public marketplaces. Semia renders all of them auditable and finds that more than half carry at least one critical semantic risk. On a stratified sample of 541 expert-labeled skills, Semia achieves 97.7% recall and an F1 of 90.6%, substantially outperforming signature-based scanners and LLM baselines.