궤적 수준의 기여도 분석을 넘어: 에이전트 기반 강화 학습을 위한 그래프 기반 기여도 할당

Beyond Trajectory-Level Attribution: Graph-Based Credit Assignment for Agentic Reinforcement Learning

그룹 기반 강화 학습(RL) 방법은 대규모 언어 모델(LLM)의 성능 향상에 큰 성공을 거두었으며, 빠르게 에이전트 기반 작업으로 확장되고 있습니다. 그러나 이러한 방법들은 최종 결과에 따른 궤적 수준의 기여도 분석에 크게 의존하며, 이는 실패한 궤적 내에서 가치 있는 단계를 파악하기 어렵게 만듭니다. 본 연구에서는 잠재적인 정보를 밝히고 더욱 정확한 단계별 기여도 할당을 가능하게 하기 위해 그래프 기반 그룹 정책 최적화(GraphGPO)를 제안합니다. GraphGPO는 먼저 모든 실행 궤적을 통합된 상태-전이 그래프로 구성하고, 그래프에 포함된 전역 정보를 사용하여 각 상태에서 목표 지점까지의 거리를 추정합니다. 마지막으로, GraphGPO는 각 간선에 대해 그래프 기반 이점을 추정하여 기여도를 할당하며, 이는 해당 전이가 목표 지점까지의 거리를 얼마나 감소시키는지에 따라 결정됩니다. 이러한 방식으로 GraphGPO는 학습 효율성을 크게 향상시키고 다양한 어려운 벤치마크에서 최첨단 성능을 달성합니다.

Group-based reinforcement learning (RL) methods have achieved remarkable success in improving the performance of large language models (LLMs) and have been rapidly extended to agentic tasks. However, their credit assignment relies heavily on coarse-grained trajectory-level attribution according to final outcomes, making it difficult to capture the contribution of individual steps, such as valuable steps obscured within failed trajectories. To uncover latent information and enable more faithful step-level credit assignment, we propose Graph-based Group Policy Optimization (GraphGPO), which first aggregates all rollout trajectories into a unified state-transition graph and then estimates the distance from each state to the task goal using the global information encoded in the graph. Finally, GraphGPO assigns credit to each edge by estimating a graph-based advantage, based on how much the transition reduces the distance to the task goal. In this way, GraphGPO significantly improves training efficiency and achieves state-of-the-art performance across a range of challenging benchmarks.