정확하게, 올바른 방식으로: 검증 가능한 보상과 인간 데모를 활용한 언어 모델 학습

Right in the Right Way: LM Training with Verifiable Rewards and Human Demonstrations

검증 가능한 보상을 사용한 강화 학습(RLVR)은 코드 생성 및 수학적 추론과 같이 명확한 성공 지표가 있는 작업에서 언어 모델을 훈련하는 강력한 방법으로 떠올랐습니다. 그러나 현재의 RLVR 방법은 객관적으로 점수가 매겨질 수 있는 부분만 최적화하며, 종종 스타일이나 구조와 같은 인간과 유사한 출력의 주관적인, 검증 불가능한 측면을 간과합니다. 이러한 한계는 다양성 부족, 부자연스러운 응답, 보상 해킹과 같은 잘 알려진 문제점을 야기합니다. 우리는 검증 가능한 보상에 인간 데모로부터 학습된 신호를 추가하는 적대적 생성기-판별기 프레임워크를 제안합니다. 생성기 모델은 RL을 사용하여 작업 정확도와 판별기로부터 파생된 적대적 보상을 모두 최대화하도록 훈련됩니다. 생성기 정책과 함께 훈련되는 판별기는 인간이 작성한 출력과 모델이 생성한 출력을 구별하는 방법을 학습합니다. 판별기는 인간의 출력 분포에 대한 학습된 대리 역할을 하며, 스칼라 보상으로 공식화하기 어려운 생성의 측면에 대한 피드백을 제공합니다. 버그 수정 및 개방형 생성 등 다양한 영역에서, 우리의 접근 방식은 RLVR의 정확성 향상을 유지하면서 검증 불가능한 속성을 지속적으로 개선합니다. 버그 수정 작업에서는 당사의 방법이 RLVR 기반 모델보다 훨씬 낮은 편집 거리를 갖는 솔루션을 생성하는 반면, 최종 성능은 동일합니다. 스토리 생성 작업에서는 당사의 방법이 승률을 크게 향상시키면서 동시에 다양하고 인간과 유사한 스토리를 생성합니다. 또한 간단한 보상 해킹 벤치마크에서 당사의 방법은 모델의 오작동을 거의 없애는 동시에 높은 벤치마크 점수를 유지합니다. 이러한 결과들을 종합해 볼 때, 우리의 접근 방식은 강화 학습과 지도 미세 조정(SFT)을 연결하여 작업의 검증 가능한 및 검증 불가능한 속성을 함께 최적화할 수 있는 확장 가능한 경로를 제시합니다.

RL with verifiable rewards (RLVR) has emerged as a powerful paradigm for training LMs on tasks with well-defined success metrics, such as code generation and mathematical reasoning. However, current RLVR methods optimize only what can be objectively scored, often neglecting subjective, non-verifiable aspects of human-like outputs, such as style and structure. This limitation leads to well-documented failure modes such as diversity collapse, unnatural-sounding responses, and reward hacking. We propose an adversarial generator-discriminator framework that augments verifiable rewards with a learned signal from human demonstrations. A generator model is trained using RL to maximize both task accuracy and an adversarial reward derived from a discriminator. The discriminator, trained alongside the generator policy, learns to distinguish human-written outputs from model-generated ones. The discriminator serves as a learned proxy for the human output distribution, providing feedback on aspects of generation that are difficult to formalize as scalar rewards. Across diverse domains, including bug fixing and open-ended generation, our approach consistently improves non-verifiable properties while preserving the accuracy gains of RLVR. In bug fixing, our method produces solutions with significantly lower edit distance compared to RLVR baselines while matching end performance. In story generation, our method significantly improves win rate while producing stories that are diverse and more human-like. And in a simple reward hacking benchmark, our method nearly eliminates model misbehavior while maintaining high benchmark scores. Together, these results show that our approach bridges RL and SFT, offering a scalable path toward jointly optimizing the verifiable and non-verifiable properties of a task.