훈련 및 테스트 시간의 자기 개선을 위한 자체 학습 검증

Self-Trained Verification for Training- and Test-Time Self-Improvement

추론 모델에서 대규모 자기 개선은 오랜 목표였으며, 이를 달성할 수 있는 자연스러운 두 가지 방법이 있습니다. 하나는 검증-수정(V-R) 루프를 통해 테스트 시간에 수행하는 것이고, 다른 하나는 자체 학습 방법을 통해 훈련 시간에 수행하는 것입니다. 이 두 가지 방법 모두 동일한 병목 현상, 즉 검증기의 성능에 의해 제한됩니다. V-R 루프는 검증기 점수가 상승하지만 정확도가 정체될 때나, 피드백이 너무 일반적이어서 활용하기 어려울 때 막히게 됩니다. 마찬가지로, 자체 학습은 모델이 생성한 잘못된 데이터가 훈련에 추가될 때 실패합니다. 더 나은 검증은 이러한 문제를 해결할 수 있지만, 우리가 훈련하고자 하는 능력, 즉 모델 스스로 생성한 오류를 감지하는 능력에는 훈련 신호가 부족합니다. 이 문제점을 해결하기 위해 우리는 자체 학습 검증(STV)을 제안합니다. 우리의 핵심적인 관찰 결과는 다음과 같습니다. 모델은 혼자서 이러한 오류를 감지할 수 없지만, 참조 솔루션을 보여주면 이를 감지할 수 있습니다. 우리는 이러한 비대칭성을 활용하여 감독 신호로 만들고, 검증기가 자신보다 더 정확한 버전의 동작을 모방하도록 훈련합니다. 테스트 시간 동안 STV는 어려운 문제에 대한 V-R 루프를 크게 개선하지만, 다른 방법(예: SFT, 검증기 점수에 대한 강화 학습, 메타 검증기)은 그렇지 못합니다. STV는 어려운 수학 문제에서 정확도를 약 두 배로 증가시키고, 과학적 추론 작업에서는 14배까지 향상시킵니다 (1.5%에서 21%). 훈련 시간 동안에도 우리는 생성기를 강화 학습으로 훈련하면서 STV 검증기의 피드백을 V-R 루프 내에 포함시키는 '검증기 통합 훈련(ViL)'이라는 절차를 사용합니다. 강화 학습을 통해 수렴된 생성기에서 시작하여, ViL은 pass@1 성능을 추가로 33% 향상시킵니다. 더욱 주목할 점은, 검증기가 없는 상태에서 생성기의 독립적인 pass@1 성능이 기존의 표준 강화 학습으로 수렴된 수준보다 30% 더 향상되었다는 것입니다. 따라서 어려운 문제에 대한 추론 분야의 다음 발전은 검증을 통해 어떻게 훈련하고 활용하는지에 달려 있을 수 있습니다.

Self-improvement at scale has been a longstanding goal for reasoning models, and there are two natural places to do it: at test time, through verification-refinement (V-R) loops; and at training time, through self-training methods. Both are gated by the same bottleneck: the verifier. V-R loops stall when verifier scores inflate while accuracy stagnates, and when feedback is too generic to act on; self-training fails similarly when bad self-generated data are added to training. Better verification would unlock both, but the capability we want to train, i.e., catching self-generated errors, lacks training signal. To address this challenge, we propose self-trained verification (STV). Our key observation is that, while a model cannot catch these errors alone, it can when shown the reference solution. We turn this asymmetry into a supervision target and train the verifier to imitate a more informed version of itself. At test time, STV substantially improves V-R loops on hard problems, while alternatives (e.g., SFT, RL on verifier scores, and even meta-verifiers) do not. STV roughly doubles accuracy on hard math and lifts it 14x on scientific reasoning tasks (1.5% to 21%). At training time, we additionally train the generator using RL with STV verifier's feedback inside the V-R loop - a procedure we call verifier-in-the-loop training (ViL). Starting from an RL-converged generator, ViL yields a further 33% gain in pass@1. More notably, the generator's standalone pass@1, with no verifier at test time, climbs 30% relative past where standard RL had converged. Hence, the next frontier in reasoning on hard problems may lie in how we train for and with verification.