LLM-as-a-Verifier: 범용 검증 프레임워크

LLM-as-a-Verifier: A General-Purpose Verification Framework

대규모 언어 모델(LLM)의 성능 향상을 위해 사전 학습, 사후 학습 및 테스트 시간 연산 자원 확장이 핵심적인 패러다임으로 자리 잡았습니다. 본 연구에서는 솔루션의 정확성을 판단하는 '검증' 능력을 새로운 확장 축으로 제시합니다. 이 잠재력을 활용하고 그 효과를 입증하기 위해, 추가 훈련 없이 에이전트 기반 작업에 대한 세밀한 피드백을 제공하는 범용 검증 프레임워크인 LLM-as-a-Verifier를 소개합니다. 기존의 LM 평가 시스템과는 달리, LLM-as-a-Verifier는 후보 솔루션에 대해 이산적인 점수를 부여하는 대신, Scoring 토큰의 로짓 분포에 대한 기댓값을 계산하여 연속적인 점수를 생성합니다. 이러한 확률적 접근 방식을 통해 검증은 다음과 같은 여러 측면에서 확장될 수 있습니다: (1) 세부 점수 수준, (2) 반복 평가 및 (3) 기준 분해. 특히, 세부 점수 수준을 확대하면 양성 및 음성 솔루션 간의 구분이 더욱 명확해져 더 정확한 비교가 가능함을 보여줍니다. 또한, 반복 평가 및 기준 분해를 확장하면 분산과 복잡성을 줄여 검증 정확도를 지속적으로 향상시킬 수 있습니다. 우리는 또한 검증기의 연속적인 점수를 사용하여 후보 솔루션 중 최적의 솔루션을 선택하는 비용 효율적인 순위 알고리즘을 소개합니다. LLM-as-a-Verifier는 Terminal-Bench V2 (86.5%), SWE-Bench Verified (78.2%), RoboRewardBench (87.4%) 및 MedAgentBench (73.3%)에서 최첨단 성능을 달성했습니다. 검증 외에도, LLM-as-a-Verifier에서 제공하는 세밀한 정보는 작업 진행 상황을 추정하는 데 활용될 수 있습니다. 우리는 Claude Code에 대한 확장을 구축하여 개발자들이 자신의 에이전트 시스템을 모니터링하고 개선할 수 있도록 지원합니다. 마지막으로, LLM-as-a-Verifier가 로봇 공학 및 수학적 추론 벤치마크에서 SAC 및 GRPO의 샘플 효율성을 향상시키는 데 도움이 되는 상세한 피드백을 강화 학습에 제공할 수 있음을 보여줍니다.

Scaling pre-training, post-training, and test-time compute have become the central paradigms for improving the capabilities of LLMs. In this work, we identify verification, the ability to determine the correctness of a solution, as a new scaling axis. To unlock this and demonstrate its effectiveness, we introduce LLM-as-a-Verifier, a general-purpose verification framework that provides fine-grained feedback for agentic tasks without requiring additional training. Unlike standard LM judges that prompt LLMs to produce discrete scores for candidate solutions, LLM-as-a-Verifier computes the expectation over the distribution of scoring token logits to generate continuous scores. This probabilistic formulation enables verification to scale along multiple dimensions: (1) score granularity, (2) repeated evaluation, and (3) criteria decomposition. In particular, we show that scaling the scoring granularity leads to better separation between positive and negative solutions, resulting in more calibrated comparisons. Moreover, scaling repeated evaluation and criteria decomposition consistently lead to additional gains in verification accuracy through variance and complexity reduction. We further introduce a cost-efficient ranking algorithm for selecting the best solution among candidates using the verifier's continuous scores. LLM-as-a-Verifier achieves state-of-the-art performance on Terminal-Bench V2 (86.5%), SWE-Bench Verified (78.2%), RoboRewardBench (87.4%), and MedAgentBench (73.3%). Beyond verification, the fine-grained signals from LLM-as-a-Verifier can also serve as a proxy for estimating task progress. We build an extension for Claude Code, enabling developers to monitor and improve their own agentic systems. Finally, we show that LLM-as-a-Verifier can provide dense feedback for RL, improving the sample efficiency of SAC and GRPO on robotics and mathematical reasoning benchmarks.