기술의 가치는 무엇인가? 구조 인지형 셰이플리 가치 평가를 통한 에이전트 기술 평가

What Is a Skill Worth? Structure-Aware Shapley Valuation of Agent Skills

에이전트 기술은 자동화된 피드백 루프에 의해 점점 더 최적화되어, 내부 가치가 불분명한 복잡하고 체계적인 결과물을 생성합니다. 본 연구에서는 고정된 에이전트와 숨겨진 작업 분포 하에서, 규칙, 예시, 스크립트 및 휴리스틱과 같은 고정된 기술의 내부 구성 요소에 대한 기여도를 할당하는 기술 평가 방법을 연구합니다. 기술 평가는 데이터 또는 프롬프트 범위 평가와 다르며, 왜냐하면 기술 구성 요소는 구조화되어 있기 때문입니다. 즉, 다른 구성 요소에 의존하고, 문서 계층 구조에 속하며, 에이전트의 행동을 유발하고, 제한된 프롬프트 컨텍스트를 소비할 수 있습니다. 본 연구에서는 기술 평가를 위한 구조 인지형 셰이플리 스타일 프레임워크인 SkillSV를 소개합니다. SkillSV는 기술을 단위, 의존성 및 계층 구조로 컴파일하여, 유효한 반사실적 기술만 평가하도록 합니다. 또한, 콘텐츠 가치와 컨텍스트 비용을 분리하기 위해 쌍별 삭제 및 길이 중립적인 패딩을 사용하며, 노이즈가 있는 에이전트 평가에 대한 롤아웃 예산 기반 추정기를 사용하여 결과 값을 추정합니다. 우리는 네 가지 에이전트 벤치마크에서 SkillSV의 신뢰성, 실행 가능성 및 설명력을 평가했습니다. 그 결과, SkillSV는 단위 간 상호 작용을 복구하고, 전체 기술 성능 향상을 유지하며, 안전한 가지 치기 및 압축을 안내하는 것으로 나타났습니다.

Agent skills are increasingly optimized by automated feedback loops, producing long structured artifacts whose internal value remains unclear. We study skill valuation: assigning credit to the internal units of a fixed skill, such as rules, examples, scripts, and heuristics, under a fixed agent and held-out task distribution. Skill valuation differs from data or prompt-span valuation because skill units are structured: they may depend on other units, belong to a document hierarchy, trigger agent behavior, and consume limited prompt context. We introduce SkillSV, a structure-aware Shapley-style framework for skill valuation. SkillSV compiles a skill into units, dependencies, and hierarchy, so that only valid counterfactual skills are evaluated. It uses paired deletion and length-neutral padding to separate content value from context cost, and estimates the resulting values with a rollout-budgeted estimator for noisy agent evaluations. On four agentic benchmarks, we assess the faithfulness, actionability, and explanation of SkillSV: it recovers unit interactions, preserves aggregate skill lift, and guides safe pruning and compression.