LLM 에이전트 기술에서 발생하는 자격 증명 유출: 대규모 실증 연구

Credential Leakage in LLM Agent Skills: A Large-Scale Empirical Study

외부 기술(third-party skills)은 LLM 에이전트에게 강력한 기능을 제공하지만, 종종 민감한 자격 증명을 취급하는 특권 환경에서 작동하며, 이러한 유출 위험에 대한 이해가 부족합니다. 본 연구는 이 문제를 다루는 최초의 대규모 실증 연구로, SkillsMP에서 수집된 170,226개의 기술 중 17,022개의 기술을 정적 분석, 샌드박스 테스트 및 수동 검사를 통해 분석했습니다. 분석 결과, 520개의 취약점이 발견되었으며, 1,708개의 문제가 확인되었습니다. 또한, 10가지의 유출 패턴(4가지의 우발적 패턴 및 6가지의 악의적 패턴)에 대한 분류 체계를 제시합니다. 연구 결과, (1) 유출은 근본적으로 다중 모드(cross-modal) 현상이며, 코드와 자연어 분석이 필요한 경우가 76.3%이고, 프롬프트 주입(prompt injection)으로 인해 발생하는 경우가 3.1%입니다. (2) 디버그 로깅이 주요 유출 경로이며, print 및 console.log를 통한 표준 출력(stdout) 노출이 유출의 73.5%를 차지합니다. (3) 유출된 자격 증명은 악용 가능하며(특권이 없는 경우 89.6%), 지속적입니다. 즉, 업스트림에서 수정이 이루어져도 포크(fork)는 여전히 비밀 정보를 유지합니다. 유출 사실이 공개된 후, 모든 악성 기술이 제거되었고, 하드코딩된 자격 증명의 91.6%가 수정되었습니다. 본 연구에서는 데이터셋, 분류 체계 및 탐지 파이프라인을 공개하여 향후 연구를 지원합니다.

Third-party skills extend LLM agents with powerful capabilities but often handle sensitive credentials in privileged environments, making leakage risks poorly understood. We present the first large-scale empirical study of this problem, analyzing 17,022 skills (sampled from 170,226 on SkillsMP) using static analysis, sandbox testing, and manual inspection. We identify 520 vulnerable skills with 1,708 issues and derive a taxonomy of 10 leakage patterns (4 accidental and 6 adversarial). We find that (1) leakage is fundamentally cross-modal: 76.3% require joint analysis of code and natural language, while 3.1% arise purely from prompt injection; (2) debug logging is the primary vector, with print and console.log causing 73.5% of leaks due to stdout exposure to LLMs; and (3) leaked credentials are both exploitable (89.6% without privileges) and persistent, as forks retain secrets even after upstream fixes. After disclosure, all malicious skills were removed and 91.6% of hardcoded credentials were fixed. We release our dataset, taxonomy, and detection pipeline to support future research.