VeriEvol: 검증 가능한 진화형 지시(Evol-Instruct)를 통한 다중 모드 수학적 추론 확장

VeriEvol: Scaling Multimodal Mathematical Reasoning via Verifiable Evol-Instruct

시각 기반의 수학적 추론을 위한 강화 학습 모델 확장은 단순히 더 어려운 질문을 생성하는 것 이상입니다. 데이터 양이 증가함에 따라, 보상 레이블 자체의 신뢰성을 유지해야 합니다. 기존의 데이터 파이프라인은 감독 학습 과정을 확장하면서 레이블러를 신뢰하며, 정책 측면에서는 기본 답변이 이미 정확하다고 가정합니다. 우리는 대신 확장을 검증 가능한 데이터 구축 문제로 간주하고, 정책 업데이트 전에 두 가지 요소를 분리합니다. 첫째는 경로별 진화 연산자를 통해 확장되는 질문의 난이도이며, 둘째는 오프라인 가설 검증을 통해 강화되는 답변의 신뢰성입니다. 우리는 이를 VeriEvol이라는 반복적인 프레임워크로 구현했습니다. 이 프레임워크는 두 가지 확장 가능한 구성 요소로 이루어져 있습니다. 첫 번째는 유형 인지 진화 모듈로서, 낮은 난이도의 이미지-질문 쌍을 더 어렵고 이미지 기반의 질문으로 재구성합니다. 두 번째는 HTV-Agent라는 검증기로, 여러 출처에서 제공된 반증 자료가 답변을 부정하지 못할 경우에만 해당 답변을 수락합니다. 결과적으로 생성된 검증 데이터는 양이 증가하며, 진화 경로 또는 검증 채널을 추가하여 확장될 수 있으며, 기존의 GRPO 스타일 강화 학습 레시피에 직접 적용할 수 있습니다. 5개의 시각 수학 벤치마크에서, 진화를 통해 생성된 SFT 데이터를 1만 개에서 25만 개로 늘리면서 평균 정확도가 35.42%에서 54.73%로 향상되었습니다. 또한, 핵심 모델, SFT 초기화 및 GRPO 레시피를 고정한 상태에서 VeriEvol은 진화를 거치지 않은 강화 학습 기준 대비 +3.88%의 성능 향상을 가져왔으며, 그 중 +1.82%는 진화된 질문에서 비롯되었고 +2.06%는 HTV-Agent 검증기에서 비롯되었습니다. 우리는 생성된 질문, 데이터, 모델, 코드 및 모든 샘플에 대한 전체 검증 기록을 공개하여, 후속 연구가 파이프라인의 출력 결과만 확인하는 것이 아니라 확장하고 감사할 수 있도록 지원합니다.

Scaling reinforcement learning for visual mathematical reasoning requires more than generating harder questions: as data volume grows, the reward labels themselves must remain reliable. Yet existing data pipelines scale supervision while trusting the labeller, and policy-side methods assume the underlying answers are already correct. We instead treat scaling as a verifiable data-construction problem and decouple two axes before any policy update: prompt difficulty, expanded by route-specific evolution operators, and answer reliability, enforced by offline hypothesis-test falsification. We instantiate this as VeriEvol, an iterative framework with two extensible components: a type-aware evolution module that rewrites low-difficulty image-question seeds into harder, image-grounded prompts; and HTV-Agent, a verifier that accepts an answer only after multi-source counter-evidence has failed to refute it. The resulting verified data scales in volume, extends by adding evolution routes or verifier channels, and plugs directly into existing GRPO-style RL recipes. On a five-benchmark visual-math suite, scaling evolved SFT data from 10K to 250K samples raises the mean accuracy from 35.42 to 54.73; then, with backbone, SFT initialization, and GRPO recipe held fixed, VeriEvol adds a cumulative +3.88 over an un-evolved RL baseline, of which +1.82 comes from evolved prompts and +2.06 from the HTV-Agent verifier. We release the prompts, data, models, code, and the full verifier trace of every sample, so that downstream work can scale and audit the pipeline rather than only inspect its outputs.