HIPIF: 계층적 계획 및 정보 압축을 통한 장기 LLM 에이전트 학습

HIPIF: Hierarchical Planning and Information Folding for Long-Horizon LLM Agent Learning

대규모 언어 모델(LLM)은 다양한 작업에서 자율적인 에이전트로 강력한 능력을 보여주지만, 다단계의 장기적인 에이전트 작업에서는 성능이 저하되는 경우가 많습니다. 기존 방법들은 세밀한 보상 할당을 통해 희소한 장기 보상을 완화하고, 계층적 강화 학습을 통해 작업을 분해하여 장기 의존성을 줄이는 데 기여했습니다. 그러나 이러한 방법들은 여전히 장기 컨텍스트 간섭 문제를 직접적으로 해결하지 못합니다. 장기 컨텍스트 간섭은 지속적으로 증가하는 기록이 에이전트의 전역 작업 상태 추적 능력을 약화시키고, 이후의 추론 및 의사 결정을 방해합니다. 본 연구에서는 인간이 복잡한 작업을 부분 목표 분해와 완료된 진행 상황 요약 방식으로 처리하는 것에 영감을 받아, 장기 LLM 에이전트 학습을 위한 계층적 계획 및 정보 압축(HIPIF) 방법을 제안합니다. HIPIF는 에이전트를 엔드 투 엔드로 훈련하여 명시적인 부분 목표를 중심으로 장기 실행을 구성하고, 완료된 부분 목표 기록을 압축하여 장기 컨텍스트 간섭을 줄입니다. 또한, 부분 목표 기반 계획 및 실행의 안정성을 높이기 위해, HIPIF는 계층적 반성과 부분 목표 지향적인 과정 보상을 결합하여 부분 목표 생성, 전환 및 실행을 안내합니다. 이는 비용이 많이 드는 추가 모델이나 작업별 전문가 경로에 의존하지 않습니다. 세 가지 공개 에이전트 벤치마크를 사용한 광범위한 실험 결과는 제안된 방법의 유효성을 입증합니다.

While Large Language Models (LLMs) have demonstrated strong capabilities as autonomous agents across a wide range of tasks, their performance often degrades in multi-turn long-horizon agentic tasks. Existing methods have made progress through fine-grained credit assignment to alleviate long-horizon sparse rewards and hierarchical reinforcement learning to decompose tasks and reduce long-term dependency. However, these methods still do not directly address long-context interference, in which continuously growing histories weaken the agent's ability to track the global task state and impair subsequent reasoning and decision-making. Inspired by the way humans handle complex tasks through subgoal decomposition and completed progress summarization, we propose Hierarchical Planning and Information Folding (HIPIF) for long-horizon LLM agent learning. HIPIF trains the agent end-to-end to organize long-horizon execution around explicit subgoals while folding completed subgoal histories to reduce long-context interference. Furthermore, to stabilize subgoal-based planning and execution, HIPIF combines hierarchical reflection and subgoal-oriented process rewards to guide subgoal generation, transition, and execution, without relying on costly auxiliary models or task-specific expert trajectories. Extensive experiments on three publicly available agentic benchmarks demonstrate the validity of our method.