STAPO: LLM 에이전트 학습을 위한 선택적 경로 인지 정책 최적화

STAPO: Selective Trajectory-Aware Policy Optimization for LLM Agent Training

강화 학습(RL)은 장기 과제에서 대규모 언어 모델(LLM) 에이전트를 훈련하는 데 가장 널리 사용되는 방법입니다. 그러나 희소하고 지연된 보상은 종종 경로 무시를 초래하며, 이는 에이전트가 중간 단계에서 작업 목표와 상호 작용 기록에 대한 집중력을 잃게 만듭니다. 이전 연구에서는 샤논 엔트로피 기반 불확실성 신호를 사용하여 단계 수준의 감독을 탐구했지만, 이는 상태의 고유한 복잡성과 에이전트의 확신도를 혼동하여 의사 결정 신뢰성에 대한 신뢰할 수 없는 추정치를 제공합니다. 이 문제를 해결하기 위해, 우리는 정규화된 엔트로피를 제안하는데, 이는 주어진 상태에서 에이전트의 평균 행동에 대한 확신도의 편차를 측정하여 저품질 액션과 경로 무시 간의 연관성을 강화합니다. 이러한 통찰력을 바탕으로, 우리는 계층적 그룹 기반 RL 프레임워크인 Selective Trajectory-Aware Policy Optimization (STAPO)을 소개합니다. STAPO는 정규화된 엔트로피를 활용하여 경로 무시와 관련된 이상 단계를 찾고, 경로 인지 보상과 경로 독립적인 페널티의 결합 메커니즘을 통해 이를 최적화하여 경로 인식을 향상시키면서도 훈련 안정성을 유지합니다. ALFWorld, WebShop 및 Search-Augmented QA에 대한 광범위한 실험 결과는 STAPO가 최첨단 성능을 달성하고 경로 무시를 크게 완화한다는 것을 보여주며, 이는 에이전트 관련 작업에 대한 효과성과 견고함을 검증합니다.

Reinforcement Learning (RL) is the dominant paradigm for training Large Language Model (LLM) agents on long-horizon tasks. However, sparse and delayed rewards often lead to trajectory neglect, in which agents lose focus on the task goal and interaction history at intermediate steps. Prior work has explored step-level supervision using Shannon-entropy-based uncertainty signals, which conflate inherent state complexity with agent confidence and therefore provide unreliable estimates of decision reliability. To address this issue, we propose normalized entropy, which measures confidence deviations relative to an agent's average behavior under a given state, thereby strengthening the association between low-quality actions and trajectory neglect. Building on this insight, we introduce Selective Trajectory-Aware Policy Optimization (STAPO), a hierarchical group-based RL framework. STAPO leverages normalized entropy to locate outlier steps associated with trajectory neglect and optimizes them via a joint mechanism of trajectory-aware reward and trajectory-independent penalty, enhancing trajectory awareness while preserving training stability. Extensive experiments on ALFWorld, WebShop, and Search-Augmented QA demonstrate that STAPO achieves state-of-the-art performance while substantially alleviating trajectory neglect, validating its effectiveness and robustness for agentic tasks.