HiSkill: 계층적 기술 그래프를 활용한 LLM 에이전트 강화

HiSkill: Empowering LLM Agents with Hierarchical Skill Graphs

기술(skill)은 대규모 언어 모델(LLM) 에이전트가 장기적인 상호작용 작업에서 과거 경험을 재사용하도록 돕는 중요한 추상화 개념입니다. 그러나 기존의 trajectory-to-skill 방법은 종종 독립적으로 저장되고 검색되는 고수준의 텍스트 기술 집합을 생성하며, 이로 인해 기술 간의 관계가 충분히 활용되지 않고 고수준 기술과 실행 가능한 동작 간의 격차가 발생합니다. 본 논문에서는 HiSkill이라는 계층적 기술 그래프 프레임워크를 제안합니다. HiSkill은 상호작용 경로를 방향성 그래프로 구성하며, 이 그래프는 기술 노드, AtomicOp 노드 및 타입이 지정된 에지로 이루어져 있습니다. 구체적으로, 이 그래프는 재사용 가능한 고수준 기술을 실행 가능한 동작 템플릿과 연결하고, 동시에 이러한 기술 간의 분해(decomposition), 시간적 전이(temporal transition), 호환성(compatibility), 지원(support) 및 복구(recovery) 관계를 포착합니다. 추론 시 HiSkill은 작업과 관련된 핵심 서브 그래프를 검색하고, 이 서브 그래프를 기반으로 작업을 실행합니다. 여기서 기호적인 작업 상태, 활성화된 기술, 그리고 검색된 서브 그래프는 LLM 에이전트가 기술을 전환하고, AtomicOp을 선택하며, 실행 가능한 동작을 반복적으로 수행하도록 안내합니다. 세 가지 상호작용 환경에서의 실험 결과, HiSkill은 최첨단 기준 모델보다 뛰어난 성능을 보이며 추론 토큰 소비량을 줄이는 것으로 나타났습니다. 이는 계층적 기술 그래프를 통해 고수준 기술과 실행 가능한 동작 간의 연결을 효과적으로 구현하는 것을 입증합니다. 저희가 사용한 데이터와 코드는 https://github.com/BUPT-GAMMA/HiSkill 에서 확인할 수 있습니다.

Skills have become an important abstraction for enabling large language model (LLM) agents to reuse past experience in long-horizon interactive tasks. However, existing trajectory-to-skill methods often produce flat collections of high-level textual skills that are stored and retrieved independently, leaving skill relations underutilized and maintaining a gap between high-level skills and executable actions. In this paper, we propose HiSkill, a hierarchical skill graph framework that organizes interaction trajectories into a directed graph with skill nodes, AtomicOp nodes, and typed edges. Specifically, the graph connects reusable high-level skills with executable action templates, while also capturing decomposition, temporal transition, compatibility, support, and recovery relations among them. At inference time, HiSkill retrieves a compact task-relevant subgraph and performs subgraph-guided task execution, where a symbolic task state, an active skill, and the retrieved subgraph guide the LLM agent to switch skills, select AtomicOps, and ground executable actions iteratively. Experiments on three interactive environments show that HiSkill outperforms state-of-the-art baselines while reducing inference token consumption, demonstrating the effectiveness of bridging high-level skills and executable action grounding through a hierarchical skill graph. Our data and code is available at https://github.com/BUPT-GAMMA/HiSkill.