해결 가능성을 넘어: LLM 강화 학습 후처리 과정에서의 작업 학습 가능성, 정적 사전 지식으로 활용

Beyond Solvability: Task Learnability as a Static Prior for LLM RL Post-Training

강화 학습(RL)은 대규모 언어 모델(LLM)에서 추론 능력을 향상시키는 핵심적인 후처리 패러다임이 되었지만, 균일한 작업 샘플링 방식은 최적화에 대한 작업들의 반응 차이를 고려하지 않고 컴퓨팅 자원을 할당합니다. 기존의 작업 평가 방법은 대부분 현재 통과율이나 보상과 같은 스냅샷 기반 신호를 활용하여, 현재 정책 하에서 작업이 얼마나 해결 가능한지를 추정합니다. 그러나 해결 가능성이 비슷한 작업이라도 추가적인 학습에 대해 긍정적으로 반응하는 정도는 크게 다를 수 있습니다. 본 연구에서는 이러한 차이를 '작업 학습 가능성'이라는 개념으로 정의하고, 이는 고정된 강화 학습 후처리 환경 하에서 지속적인 학습을 통해 얻을 수 있는 예상되는 긍정적 반응의 정도를 나타내는 조건부 지표입니다. 작업별 보상 경로를 분석한 결과, 학습 가능성은 독립적으로 샘플링된 학습 환경에서도 재현 가능하며, 이후 활용 가치를 예측하는 데 유용하다는 것을 확인했습니다. 본 연구에서는 학습 시작 전에 이러한 신호를 활용할 수 있도록, 짧은 탐색 과정과 두 번의 종료 시점 평가를 통해 작업별 학습 가능성을 근사하는 경량화된 탐색 기반 추정기인 TrajVal을 제안합니다. TrajVal은 독립적인 정적 사전 지식으로 사용하거나, 기존의 온라인 스케줄러에 곱셈 형태로 적용할 수 있습니다. 다양한 모델 크기를 가진 수학 및 논리 추론 벤치마크에서 실험한 결과, TrajVal은 균일 샘플링 대비 데이터 효율성을 향상시키고, 온라인 스케줄링 방법과 결합하여 추가적인 성능 향상을 제공하는 것을 확인했습니다.

Reinforcement learning (RL) has become a central post-training paradigm for eliciting reasoning capabilities in large language models, yet uniform task sampling allocates compute without regard to differences in how tasks respond to optimization. Existing task-valuation methods mostly rely on snapshot-based signals such as current pass rate or reward, which estimate how solvable a task is under the current policy. However, tasks with similar current solvability can still differ substantially in how positively they respond to further training. We study this residual axis as task learnability: a regime-conditional measure of expected positive response to continued training under a fixed RL post-training regime. By analyzing per-task reward trajectories, we find that learnability is reproducible across independently sampled training contexts and predictive of downstream utility. To make this signal practical before training begins, we propose TrajVal, a lightweight probe-based estimator that approximates per-task learnability from a short probe run and two endpoint evaluations. TrajVal can be used either as a standalone static prior for task sampling or as a multiplicative prior for existing online schedulers. Experiments on mathematical and logical reasoning benchmarks across multiple model scales show that TrajVal improves data efficiency over uniform sampling and provides complementary gains when combined with online scheduling methods.