SkillHEX: 가설 기반의 자율적 탐색 및 활용을 통한 에이전트 기술 향상

SkillHEX: Improving Agent Skills via Hypothesis-Driven Autonomous Exploration and Exploitation

에이전트 기술은 LLM(대규모 언어 모델)에게 재사용 가능한 절차적 지식을 제공하지만, 수동적인 유지 관리는 높은 비용, 확장성 부족, 그리고 목표 불일치 문제를 야기합니다. 따라서 실제 환경에서는 제한된 상호 작용 예산과 학습 또는 검증 데이터셋의 부족으로 인해 테스트 시점에 자율적이고 필요에 따른 기술 진화가 필수적입니다. 이러한 상황은 심각한 희소 보상 문제를 발생시키는데, 이는 결과가 여러 잠재적인 실패 원인을 혼합하기 때문입니다. 이러한 모호성 속에서 기존 방법들은 종종 단일의 우수한 기술을 탐색하는 데 집중하며, 이로 인해 초기 오진으로 인해 제한된 시도 횟수가 비효율적인 방향으로 소모될 수 있는 '탐색 함정'에 빠질 위험이 있습니다. 이를 해결하기 위해 우리는 SkillHEX라는 폐루프 프레임워크를 제안합니다. SkillHEX는 가설 기반의 자기 검증을 증거 기반 트리 검색과 결합하여, 반증 가능한 실패 가설을 실행 가능한 테스트로 변환하고, 추가적인 환경 시도 없이 진단 정보를 밀집된 보상으로 생성합니다. 이 정보는 지속적인 기술 수정 분기를 탐색하는 데 사용되며, 지지되는 수정을 활용하는 것과 잠재적인 대안을 탐색하는 것을 동적으로 균형 있게 조절합니다. SkillHEX는 SkillsBench에서 제공하는 87개의 작업에 대해 평가되었으며, 기존의 자체 진화 방법보다 우수한 성능을 보였습니다. GPT-5.3-Codex와 Claude Opus 4.7을 사용하여 각각 평균 합격률 55.9% 및 57.9%를 달성했으며, 이는 제한된 다섯 번의 반복 예산 내에서 얻어진 결과입니다.

Although agent skills equip LLMs with reusable procedural knowledge, manual maintenance suffers from high costs, unscalability, and misalignment. Real-world deployments thus require autonomous, on-demand skill evolution at test time, constrained by limited interaction budgets and a lack of training or validation sets. This setting introduces a severe sparse reward challenge, where outcomes conflate multiple latent failure causes. Under such ambiguity, existing methods that greedily refine a single incumbent skill are particularly vulnerable to an exploitation trap, allowing early misdiagnoses to exhaust limited trials along unproductive trajectories. To address this, we introduce SkillHEX, a closed-loop framework coupling hypothesis-driven self-verification with evidence-guided tree search. SkillHEX translates falsifiable failure hypotheses into executable tests, producing diagnostic evidence as dense reward without additional environment attempts. This evidence guides a search over persistent skill-revision branches, dynamically balancing the exploitation of supported edits with the exploration of plausible alternatives. Evaluated on 87 tasks from SkillsBench, SkillHEX outperforms existing self-evolving methods and achieves an average pass rate of 55.9% and 57.9% using GPT-5.3-Codex and Claude Opus 4.7 under a five-iteration budget, respectively.