델타를 이용한 사고: 차분 시각 추론 정책을 통한 강화 학습 유도

Thinking with Deltas: Incentivizing Reinforcement Learning via Differential Visual Reasoning Policy

검증 가능한 보상을 이용한 강화 학습(RLVR)은 거대 언어 모델의 추론 능력을 크게 향상시켰습니다. 그러나 RLVR을 멀티모달 도메인에 적용할 경우 치명적인 '지각-추론 분리' 문제를 겪게 됩니다. 텍스트 중심의 결과 보상과 언어 매체 기반의 추론에 의존하는 기존 패러다임은 의도치 않게 모델이 시각적 지각을 건너뛰도록 유도합니다. 우리는 블라인드 실험을 통해 이를 실증적으로 검증했는데, 최신 정책들은 시각적 입력이 완전히 제거된 상태에서도 성능을 유지하거나 심지어 향상되는 놀라운 결과를 보였습니다. 이는 해당 모델들이 시각적 증거에 주목하는 대신 언어적 사전 지식을 악용하여 그럴듯한 답변을 생성하는 '맹목적 추론기'로 전락했음을 보여줍니다. 이에 대한 대응으로 우리는 '차분 시각 추론 정책(DVRP)'에 기반한 프레임워크인 '델타를 이용한 사고(Thinking with Deltas)'를 제안합니다. DVRP는 원본, 마스킹된 입력, 교란된 입력으로 구성된 시각적 트리플렛을 통해 내재적 지도 신호를 도입합니다. 이 방식은 마스킹된 입력과의 추론 차이를 최대화하여('시각적 민감성' 강화) 모델을 최적화하는 동시에, 교란된 입력과의 차이는 최소화하여('시각적 강건성' 보장) 최적화합니다. 추론의 변화를 시각 정보의 '델타(Delta)'와 엄격하게 일치시킴으로써, DVRP는 시각적 이해 능력을 본질적으로 강화하며 외부 주석이나 보조 도구 없이도 일반 및 의료 벤치마크 모두에서 최신 방법론들을 크게 능가하는 성능을 달성했습니다.

Reinforcement Learning with Verifiable Rewards (RLVR) has significantly advanced reasoning capabilities in Large Language Models. However, adapting RLVR to multimodal domains suffers from a critical \textit{perception-reasoning decoupling}. Existing paradigms, driven by text-centric outcome rewards, reasoning in language medium, inadvertently encourage models to bypass visual perception. We empirically validate this through blind experiments: state-of-the-art policies maintain or surprisingly improve performance even when visual inputs are entirely removed. This reveals that these models degenerate into \textit{blind reasoners}, exploiting linguistic priors to generate plausible answers instead of attending to visual evidence. In response, we propose \textbf{Thinking with Deltas}, a framework driven by a \textbf{Differential Visual Reasoning Policy (DVRP)}. DVRP introduces intrinsic supervision via visual triplets, comprising original, masked, and perturbed inputs. It optimizes the model to maximize reasoning divergence from masked inputs (enforcing \textit{visual sensitivity}) while minimizing divergence from perturbed inputs (ensuring \textit{visual robustness}). By aligning reasoning variations strictly with the \textit{Delta} of visual information, DVRP inherently bolsters visual understanding capabilities and significantly outperforms state-of-the-art methods on both general and medical benchmarks, without requiring external annotations or auxiliary tools.