경험은 최고의 스승: LLM을 위한 강화 학습에서 효과적인 탐색을 유도하는 방법

Experience is the Best Teacher: Motivating Effective Exploration in Reinforcement Learning for LLMs

최근, rubic 기반 보상을 활용한 강화 학습(RL)은 대규모 언어 모델(LLM)의 일반적인 추론 능력을 향상시키는 데 놀라운 발전을 보였습니다. 그러나 여전히 현재 정책 분포에 갇힌 비효율적인 탐색이라는 문제를 안고 있습니다. 실제로 RL 최적화는 보상을 극대화하는 이상적인 분포로 정책을 조정하는 것으로 볼 수 있으며, 효과적인 탐색은 이러한 목표에 맞춰 노력을 집중해야 합니다. 이러한 통찰력을 바탕으로, 우리는 LLM에게 보상에 명시된 원하는 행동을 명시적으로 알려줌으로써 효과적인 탐색을 촉진하는 Hindsight 경험 기반 강화 학습 프레임워크인 HeRL을 제안합니다. 구체적으로, HeRL은 충족되지 않은 rubic과 함께 실패한 trajectory를 hindsight 경험으로 취급하며, 이를 통해 정책이 현재 분포를 벗어난 원하는 응답을 탐색하도록 in-context 가이드를 제공합니다. 또한, 이러한 가이드라인 하에서 개선 가능성이 더 높은 응답을 유도하기 위해 보너스 보상을 도입했습니다. HeRL은 반복적인 시행착오 없이 원하는 고품질 샘플로부터 효과적인 학습을 가능하게 하여, 이론적으로 더 정확한 gradient 추정을 제공합니다. 다양한 벤치마크를 사용한 광범위한 실험 결과, HeRL은 baseline 모델보다 우수한 성능 향상을 달성하며, 테스트 시간에 경험 기반의 자기 개선을 통해 추가적인 이점을 얻을 수 있음을 보여줍니다. 저희의 코드는 https://github.com/sikelifei/HeRL 에서 확인할 수 있습니다.

Reinforcement Learning (RL) with rubric-based rewards has recently shown remarkable progress in enhancing general reasoning capabilities of Large Language Models (LLMs), yet still suffers from ineffective exploration confined to curent policy distribution. In fact, RL optimization can be viewed as steering the policy toward an ideal distribution that maximizes the rewards, while effective exploration should align efforts with desired target. Leveraging this insight, we propose HeRL, a Hindsight experience guided Reinforcement Learning framework to bootstrap effective exploration by explicitly telling LLMs the desired behaviors specified in rewards. Concretely, HeRL treats failed trajectories along with their unmet rubrics as hindsight experience, which serves as in-context guidance for the policy to explore desired responses beyond its current distribution. Additionally, we introduce a bonus reward to incentivize responses with greater potential for improvement under such guidance. HeRL facilitates effective learning from desired high quality samples without repeated trial-and-error from scratch, yielding a more accurate estimation of the expected gradient theoretically. Extensive experiments across various benchmarks demonstrate that HeRL achieves superior performance gains over baselines, and can further benefit from experience guided self-improvement at test time. Our code is available at https://github.com/sikelifei/HeRL.