SVR-R1: 강화 학습에서 자기 검증을 활용한 다중 모드 추론의 초기화

SVR-R1: Bootstrapping Multi-modal Reasoning with Self-verification in Reinforcement Learning

본 논문에서는 Self-Verified Reasoner (SVR-R1)를 소개합니다. SVR-R1은 모델 자체의 검증 과정을 학습 신호로 활용하여 다중 모드 추론을 수행하는 멀티턴 강화 학습 프레임워크입니다. 각 질문에 대해, 모델은 동일한 가중치를 사용하여 답변을 제안하고, 이 답변에 대한 이진 자기 판단(예/아니오)을 내립니다. '아니오'는 두 번째 기회를 제공하여 재고를 거치도록 하며, '예' 또는 최대 턴 수를 초과하면 최종 출력이 생성되어 결과 기반 보상을 계산합니다. SVR-R1은 GRPO와 비동기 멀티턴 롤아웃 프레임워크로 구현되었으며, 외부 감독이나 추가적인 평가 모델이 필요하지 않습니다. 우리는 시각-언어 추론 벤치마크에서 SVR-R1을 평가하고, 강력한 표준 GRPO 기준 모델보다 정확도가 크게 향상됨을 보여줍니다. 학습 과정 분석 결과, 검증에 대한 의존성이 감소하는 경향(검증 턴 수가 줄어들면서 테스트 정확도가 높아짐)이 나타났습니다. 이는 정책이 자기 교정을 내재화하고, 우리 프레임워크를 통해 가장 확신할 수 있는 답변을 선택함에 따라 검증과 생성 사이의 간격이 좁아지는 것을 의미합니다. SVR-R1은 시계열 자체 개선과 VLM(Vision and Language Model) 학습이라는 상대적으로 탐구되지 않은 영역을 연결하며, 다중 모드 추론의 초기화를 위한 간단하면서도 효과적인 방법을 제시합니다. 우리는 앞으로 연구를 촉진하기 위해 extbf{SVR-R1}을 공개 예정입니다.

We introduce Self-Verified Reasoner (SVR-R1), a multi-turn RL framework that turns a model's own verification into a learning signal for multimodal reasoning. For each query, the model proposes an answer using the same weights, and issues a binary self-verdict (Yes/No). A 'No' triggers a second-chance rethink; a 'Yes,' or a turn cap, finalizes the output for computing the outcome-based reward. SVR-R1 is implemented with GRPO and an asynchronous multi-turn rollout framework and needs no external supervision or auxiliary critics. We evaluate SVR-R1 on vision-language reasoning benchmarks and show that it improves accuracy by a large margin over strong standard GRPO baselines. Training dynamics show decreasing reliance on verification-fewer verification turns, yet higher test accuracy-indicating that the gap between verification and generation narrows as the policy internalizes self-correction and chooses the most confident answer via our framework. SVR-R1 bridges the less explored intersection of inference-time self-refinement and RL training for VLMs, offering a simple yet effective recipe for bootstrapping multimodal reasoning. We will open-source \textbf{SVR-R1} to facilitate future research in VLMs.