약한 검증기를 활용하여 생성물 검증 성능 격차를 줄이는 방법

Shrinking the Generation-Verification Gap with Weak Verifiers

검증기는 생성된 후보 응답을 평가하고 순위를 매김으로써 언어 모델의 기능을 향상시킬 수 있습니다. 현재 고품질 검증기는 확장성이 떨어지는 경우가 많거나 (예: 인간) 유용성이 제한적인 경우가 있습니다 (예: Lean과 같은 도구). 언어 모델 기반 판단 및 보상 모델은 범용 검증기로 널리 사용되지만, 여전히 이러한 모델과 완벽한 정확도를 가진 이상적인 검증기(oracle verifier) 사이에는 성능 격차가 존재합니다. 본 연구에서는 여러 개의 약하고 불완전한 검증기를 결합하여 강력한 검증기를 설계하는 프레임워크인 Weaver를 소개합니다. 실험 결과, 일반적으로 레이블된 데이터를 통해 학습해야 하는 가중 조합 방식의 검증기들이, 가중치 없이 단순히 결합했을 때보다 검증기의 정확도 차이로 인해 훨씬 더 뛰어난 성능을 보였습니다. 레이블된 데이터에 대한 의존성을 줄이기 위해, Weaver는 약한 감독(weak supervision)을 활용하여 각 검증기의 정확도를 추정하고, 이를 바탕으로 응답의 실제 품질을 보다 잘 반영하는 통합 점수를 생성합니다. 그러나 약한 감독 알고리즘을 직접 적용하는 데에는 일관성 없는 검증기 출력 형식 및 저품질 검증기 처리와 같은 어려움이 있습니다. Weaver는 데이터셋 통계 정보를 사용하여 출력을 정규화하고 특정 검증기를 필터링하여 이러한 문제점을 해결합니다. 본 연구에서는 모델이 여러 후보 응답을 생성하고 그 중 하나를 선택하는 테스트 시간 반복 샘플링에서 Weaver의 효과성을 평가했습니다. 실험 결과, Weaver는 추론 및 수학 과제에서 첫 번째 후보를 선택할 때 Pass@1 성능을 크게 향상시켰으며, Llama 3.3 70B Instruct 모델을 생성기로 사용하고, 70B 이하 크기의 검증기 및 보상 모델 조합을 사용하여 o3-mini 수준의 정확도(87.7% 평균)를 달성했습니다. 이러한 성능 향상은 광범위한 미세 조정 및 사후 학습이 필요한 GPT-4o와 o3-mini 간의 격차(69.0% vs 86.7%)와 유사합니다. 검증기 조합의 계산 비용을 줄이기 위해, Weaver에서 생성된 통합 점수들을 사용하여 4억 개의 파라미터를 가진 크로스 인코더 모델을 학습했습니다.

Verifiers can improve language model capabilities by scoring and ranking responses from generated candidates. Currently, high-quality verifiers are either unscalable (e.g., humans) or limited in utility (e.g., tools like Lean). While LM judges and reward models have become broadly useful as general-purpose verifiers, a significant performance gap remains between them and oracle verifiers (verifiers with perfect accuracy). To help close this gap, we introduce Weaver, a framework for designing a strong verifier by combining multiple weak, imperfect verifiers. We find weighted ensembles of verifiers, which typically require learning from labeled data, significantly outperform unweighted combinations due to differences in verifier accuracies. To reduce dependency on labeled data, Weaver leverages weak supervision to estimate each verifier's accuracy and combines outputs into a unified score that better reflects true response quality. However, directly applying weak supervision algorithms poses challenges, including inconsistent verifier output formats and handling low-quality verifiers. Weaver addresses these using dataset statistics to normalize outputs and filter specific verifiers. We study Weaver's effectiveness in test-time repeated sampling, where a model generates multiple candidate responses and selects one. Our evaluations show Weaver significantly improves over Pass@1-performance when selecting the first candidate-across reasoning and math tasks, achieving o3-mini-level accuracy with Llama 3.3 70B Instruct as generator, and an ensemble of 70B or smaller judge and reward models as verifiers (87.7% average). This gain mirrors the jump between GPT-4o and o3-mini (69.0% vs. 86.7%), which required extensive finetuning and post-training. To reduce computational costs of verifier ensembles, we train a 400M cross-encoder using Weaver's combined output scores.