SkillShapley: 경계 적응형 Shapley 값을 이용한 LLM 에이전트의 기술 단계 기여도 분석

SkillShapley: Boundary-Adaptive Shapley Valuation for Skill Step Attribution in LLM Agents

에이전트 기술은 언어 기반 에이전트가 코딩 또는 문서 처리와 같은 복잡한 작업을 수행하도록 하는 중요한 외부 지침입니다. 기존 에이전트 기술은 주로 인간이 직접 만들거나 에이전트의 실행 기록을 통해 생성되지만, 각 단계가 특정 작업에서 전체 기술 성능에 어떻게 기여하는지에 대한 이해는 제한적입니다. 즉, 에이전트 기술 내 개별 단계의 기여도를 정량화하는 문제는 여전히 해결해야 할 과제입니다. 이 문제를 해결하기 위해, 우리는 먼저 기술-단계 기여도를 Shapley 값 기반의 기여도 추정 문제로 모델링하고, 에이전트 기술을 위한 단계 수준의 기여도 분석 프레임워크인 SkillShapley를 제안합니다. 특히, SkillShapley는 중요한 경험적 통찰력에 의해 설계된 두 가지 단계를 거칩니다. 즉, 뚜렷한 성능 변화를 유발하는 이산적인 벤치마크 보상과 대부분 가산적인(시너지 효과가 적은) 단계 상호 작용을 고려합니다. 구체적으로, SkillShapley는 먼저 정보력이 높은 연합 영역을 식별하고, 재사용 가능한 주변 증거를 얻을 수 있는 새로운 연합을 적응적으로 샘플링합니다. 널리 사용되는 SkillsBench에서 추출한 기술에 대한 실험 결과, SkillShapley가 고가치 또는 저가치 기술 단계를 효과적이고 효율적으로 식별할 수 있음을 보여주며, 이는 에이전트 기술 개발에 중요한 시사점을 제공합니다.

Agent skills are crucial external instructions that enable language agents to execute long procedural tasks such as coding or document processing. Existing agent skills are primarily created through human manual crafting or agent execution traces, with limited understanding of how each step contributes to overall skill performance on specific tasks; i.e., there remains an open problem in quantifying the contribution of individual steps within an agent skill. To address this issue, we first model skill-step attribution as a Shapley value-based contribution estimation problem, and then propose SkillShapley, a step-level attribution framework for agent skills. Notably, SkillShapley operates in two phases, motivated by key empirical insights, i.e., discretized benchmark rewards that create sharp performance cliffs, and step interactions that are largely additive rather than synergistic. Specifically, it first identifies informative coalitional regions, and then adaptively samples new coalitions that can yield reusable marginal evidence. Experiments on skills from the widely adopted SkillsBench demonstrate that our SkillShapley can effectively and efficiently identify high- or low-value skill steps, providing several key takeaways for agent skill creation.