LEEPS: 잠재 변수를 활용한 탐색-활용 프롬프트 샘플링 기법을 통한 대규모 언어 모델의 효율적인 강화 학습

LEEPS: Latent-Guided Explore-Exploit Prompt Sampling for Efficient RLVR in Large Language Models

검증 가능한 보상을 이용한 강화 학습(RLVR)은 대규모 언어 모델의 추론 능력을 향상시키지만, 동일한 실행 결과(rollout reward)를 가지는 프롬프트 그룹은 효과적인 학습 신호를 제공하지 못하면서 생성 자원을 낭비합니다. 미리 실행 단계에서 프롬프트를 선택하는 것은 이러한 낭비를 줄일 수 있습니다. 그러나 기존의 미리 실행 방법들은 탐색과 활용 사이의 균형을 맞추는 데 어려움을 겪습니다. 과거에 유용한 프롬프트들을 반복적으로 사용하는 것은 학습 범위를 제한할 수 있으며, 지나치게 넓은 탐색은 유용한 프롬프트의 비율을 낮출 수 있습니다. 이러한 한계점을 해결하기 위해, 우리는 잠재 변수를 활용하여 탐색과 활용을 적응적으로 조절하는 프롬프트 샘플링 기법인 LEEPS를 제안합니다. LEEPS는 후보 프롬프트를 활용 그룹과 탐색 그룹으로 나누고, 각 그룹의 최근 비무작위성 비율에 따라 실행 자원을 적응적으로 할당합니다. 또한, 표현 공간에서의 이웃 관계와 과거 실행 결과들을 이용하여, 0이 아닌 보상 변동을 가질 가능성이 높은 불확실한 프롬프트를 우선적으로 선택하여 추가적인 실행 없이도 보다 목표 지향적인 탐색을 수행합니다. 우리는 여섯 가지 수학적 추론 벤치마크에서 LEEPS가 모든 모델 크기에서 가장 높은 평균 점수를 달성했으며, Qwen2.5-Math-1.5B 및 7B 모델에서 각각 2.6% 및 3.7%의 성능 향상을 보였습니다. 또한, 일반적으로 학습 과정 동안 더 빠르게 성능이 향상됩니다. LEEPS는 평가된 세 가지 OOD(Out-of-Distribution) 일반 추론 벤치마크에서도 모든 모델 크기에서 가장 높은 평균 점수를 달성하며, 각 학습 단계당 약 2초의 온라인 샘플링 오버헤드만 추가됩니다. 코드: https://github.com/ShuangLiangX/LEEPS

Reinforcement learning with verifiable rewards (RLVR) improves the reasoning capabilities of large language models, but prompt groups with identical rollout rewards consume generation budget without effective learning signals. Pre-rollout prompt selection can reduce this waste by screening prompts before rollout generation. However, existing pre-rollout methods struggle to balance exploitation and exploration: repeatedly exploiting historically informative prompts can narrow training coverage, whereas broader exploration can lower the fraction of informative prompts. To address these limitations, we introduce LEEPS, a Latent-Guided Explore--Exploit Prompt Sampler that adaptively balances the reuse of previously observed informative prompts with continued exploration of uncertain ones. LEEPS partitions candidates into exploit and explore portfolios and adaptively allocates rollout budget according to their recent non-trivial ratios. It further uses representation-space neighbors and historical rollout outcomes to prioritize uncertain prompts likely to yield non-zero reward variance, thereby making exploration more targeted without additional rollouts. Across six mathematical reasoning benchmarks, LEEPS achieves the highest average score at both model scales, with relative gains of 2.6\% and 3.7\% over the strongest baseline for Qwen2.5-Math-1.5B and 7B, respectively, and generally improves faster during the training process. It also achieves the highest average score across the three evaluated OOD general-reasoning benchmarks at both model scales and adds only about 2 seconds of online sampling overhead per training step. Code is available at https://github.com/ShuangLiangX/LEEPS.