LLM 에이전트를 위한 증강된 단계별 전환을 갖춘 계층적 강화 학습

Hierarchical Reinforcement Learning with Augmented Step-Level Transitions for LLM Agents

대규모 언어 모델(LLM) 에이전트는 복잡한 상호 작용 의사 결정 작업에서 강력한 능력을 보여주었습니다. 그러나 기존 LLM 에이전트는 일반적으로 점점 더 긴 상호 작용 기록에 의존하여 계산 비용이 높고 확장성이 제한됩니다. 본 논문에서는 단계별 학습을 가능하게 하며 전체 상호 작용 기록이 아닌 단일 단계 전환에만 의존하는 계층적 강화 학습(HRL) 프레임워크인 STEP-HRL을 제안합니다. STEP-HRL은 작업을 계층적으로 구조화하여 완료된 하위 작업을 사용하여 전체 작업의 전반적인 진행 상황을 나타냅니다. 또한 로컬 진행 모듈을 도입하여 각 하위 작업 내에서 상호 작용 기록을 반복적이고 선택적으로 요약하여 로컬 진행 상황의 간결한 요약을 생성합니다. 이러한 구성 요소들은 고수준 및 저수준 정책 모두에 대한 증강된 단계별 전환을 제공합니다. ScienceWorld 및 ALFWorld 벤치마크에 대한 실험 결과는 STEP-HRL이 성능 및 일반화 측면에서 기준 모델보다 훨씬 우수하며 토큰 사용량을 줄이는 것을 지속적으로 보여줍니다. 저희 코드는 https://github.com/TonyStark042/STEP-HRL 에서 이용 가능합니다.

Large language model (LLM) agents have demonstrated strong capabilities in complex interactive decision-making tasks. However, existing LLM agents typically rely on increasingly long interaction histories, resulting in high computational cost and limited scalability. In this paper, we propose STEP-HRL, a hierarchical reinforcement learning (HRL) framework that enables step-level learning by conditioning only on single-step transitions rather than full interaction histories. STEP-HRL structures tasks hierarchically, using completed subtasks to represent global progress of overall task. By introducing a local progress module, it also iteratively and selectively summarizes interaction history within each subtask to produce a compact summary of local progress. Together, these components yield augmented step-level transitions for both high-level and low-level policies. Experimental results on ScienceWorld and ALFWorld benchmarks consistently demonstrate that STEP-HRL substantially outperforms baselines in terms of performance and generalization while reducing token usage. Our code is available at https://github.com/TonyStark042/STEP-HRL.