RSPO: 보상 교환 정책 최적화를 통한 다중 라운드 LLM 에이전트 학습

RSPO: Reward-Swap Policy Optimization for Multi-Turn LLM Agents

강화 학습은 대규모 언어 모델(LLM)을 학습시켜 여러 단계로 구성된 상호 작용 작업을 처리하는 데 큰 잠재력을 가지고 있습니다. 그러나 장기적인 관점에서 여러 단계를 거치는 작업에서, 결과 보상이 드물게 나타나는 경우, 직접적으로 결과 보상을 사용하여 학습하면 신호의 희소성과 세밀한 피드백 부족으로 인해 수렴 속도가 느려지는 경우가 많습니다. 또한 모델은 훈련 중에 샘플링되지 않은 성공적인 경로를 학습하지 못하여 성능이 제한될 수 있습니다. 반면, 맞춤형 밀집 과정 보상을 사용하면 더 풍부한 신호를 제공하고 수렴을 가속화할 수 있지만, 이러한 대체 보상은 실제 결과 보상과 일치하지 않을 가능성이 있습니다. 이러한 불일치는 훈련 방향에 편향을 초래하여 모델의 최종 성능을 저하시킬 수 있습니다. 본 연구에서는 밀집 과정 보상에서 얻은 풍부한 정보를 활용하여 결과 보상을 사용한 학습을 용이하게 하는 방법인 Reward-Swap Policy Optimization (RSPO)을 제안합니다. RSPO는 보상 교환 메커니즘을 사용하여 샘플링된 경로의 다양성을 확보하는 동시에 최적화 목표와 실제 결과 보상의 일관성을 유지하여 모델의 성능 한계를 향상시킵니다. 우리는 WebShop 및 ALFWorld이라는 두 가지 어려운 에이전트 벤치마크에서 광범위한 실험을 수행했습니다. GRPO, PPO 및 GiGPO를 포함한 다양한 강화 학습 알고리즘에 RSPO 방법을 적용함으로써, RSPO는 다양한 기준 모델과 벤치마크에서 일관된 성능 향상을 달성한다는 것을 보여줍니다.

Reinforcement learning holds significant potential for training large language models (LLMs) to handle multi-turn interactive tasks. However, in long-horizon, multi-turn tasks characterized by sparse outcome rewards, directly training with outcome rewards often results in slow convergence due to the sparsity of signals and the lack of fine-grained feedback. Furthermore, the model may fail to learn successful trajectories that are not sampled during training, thereby limiting its performance. Conversely, while employing customized dense process rewards provides richer signals and accelerates convergence, these surrogate rewards may exhibit potential misalignment with the ground-truth outcome rewards. This inconsistency can bias the training direction and ultimately degrade the model's final performance. In this work, we propose Reward-Swap Policy Optimization (RSPO), a method designed to leverage the rich information from dense process rewards to facilitate training with outcome rewards. By utilizing a reward-swap mechanism, RSPO ensures the diversity of sampled trajectories while guaranteeing consistency between the optimization objective and the true outcome rewards, thereby elevating the performance ceiling of the model. We conduct extensive experiments on two challenging agent benchmarks, WebShop and ALFWorld. By applying our method to various reinforcement learning algorithms, including GRPO, PPO, and GiGPO, we demonstrate that RSPO achieves consistent performance improvements across different baselines and benchmarks.