V-Zero: 제로-어노테이션 기반의 자기 개선 다중 모드 추론

V-Zero: Self-Improving Multimodal Reasoning with Zero Annotation

최근 다중 모드 학습의 발전은 시각-언어 모델(VLM)의 추론 능력을 크게 향상시켰습니다. 그러나 최첨단 방법은 대규모의 인간이 주석을 단 데이터셋에 크게 의존하는데, 이는 획득하는 데 비용이 많이 들고 시간이 오래 걸립니다. 이러한 한계를 극복하기 위해, 우리는 레이블이 없는 이미지만을 사용하여 자기 개선을 가능하게 하는 일반적인 사후 훈련 프레임워크인 V-Zero를 소개합니다. V-Zero는 두 가지 구별되는 역할, 즉 질문자(Questioner)와 해결자(Solver)를 구현하여 공진화 루프를 구축합니다. 질문자는 직관적인 추측과 추론된 결과를 비교하는 이중 추론 보상을 활용하여 고품질의 도전적인 질문을 생성하도록 학습합니다. 해결자는 자체적으로 생성된 응답을 기반으로 한 다수결 투표에서 파생된 가짜 레이블을 사용하여 최적화됩니다. 두 역할 모두 그룹 상대 정책 최적화(GRPO)를 통해 반복적으로 훈련되어 상호 강화의 사이클을 구동합니다. 주목할 만한 점은, 단 하나의 인간 주석 없이도 V-Zero는 Qwen2.5-VL-7B-Instruct 모델에서 일관된 성능 향상을 달성하며, 시각 수학적 추론을 +1.7만큼, 일반적인 시각 중심 추론을 +2.6만큼 향상시켜 다중 모드 시스템에서 자기 개선의 잠재력을 보여줍니다. 코드는 https://github.com/SatonoDia/V-Zero 에서 확인할 수 있습니다.

Recent advances in multimodal learning have significantly enhanced the reasoning capabilities of vision-language models (VLMs). However, state-of-the-art approaches rely heavily on large-scale human-annotated datasets, which are costly and time-consuming to acquire. To overcome this limitation, we introduce V-Zero, a general post-training framework that facilitates self-improvement using exclusively unlabeled images. V-Zero establishes a co-evolutionary loop by instantiating two distinct roles: a Questioner and a Solver. The Questioner learns to synthesize high-quality, challenging questions by leveraging a dual-track reasoning reward that contrasts intuitive guesses with reasoned results. The Solver is optimized using pseudo-labels derived from majority voting over its own sampled responses. Both roles are trained iteratively via Group Relative Policy Optimization (GRPO), driving a cycle of mutual enhancement. Remarkably, without a single human annotation, V-Zero achieves consistent performance gains on Qwen2.5-VL-7B-Instruct, improving visual mathematical reasoning by +1.7 and general vision-centric by +2.6, demonstrating the potential of self-improvement in multimodal systems. Code is available at https://github.com/SatonoDia/V-Zero