MIRROR: 다른 관점을 활용한 다중 모드 추론

MIRROR: Learning from the Other View for Multi-Modal Reasoning

대규모 언어 모델(LLM)은 강력한 추론 능력을 보이는 반면, 시각-언어 모델(VLM)은 심지어 텍스트, 그림 또는 텍스트와 그림의 결합으로 표현될 수 있는 기하 문제에서도 시각적 추론에 어려움을 겪습니다. 저희는 이러한 다양한 관점이 종종 서로 다른 동작을 유발한다는 것을 보여줍니다. 예를 들어, 모델이 텍스트를 통해 문제를 해결할 수 있지만 해당 그림에서는 실패하거나, 시각적으로는 성공하지만 텍스트로는 실패하는 경우가 있습니다. 이러한 일관성은 표준 다중 모드 후속 학습에서 충분히 활용되지 않는 상호 보완적인 추론 경로와 오류 방식을 다양한 관점이 드러낸다는 것을 시사합니다. 이 현상을 연구하고 활용하기 위해, 저희는 텍스트 중심, 이미지 중심 및 동일한 문제에 대한 텍스트+이미지 결합 관점을 가진 고품질의 쌍을 이루는 다중 모드 기하 데이터셋인 ODA-Data를 구축했습니다. 또한, 모달리티 의존적인 추론 동작을 평가하기 위한 학습 및 평가 세트를 포함합니다. 그 후, 저희는 자기 지도 학습 기반 강화 학습 접근 방식인 Modality-Informed Reciprocal Reasoning Optimization (MIRROR)을 개발하여 다중 모드 추론 능력을 향상시켰습니다. MIRROR은 각 문제에 대해 모델을 모든 관점에서 평가하고, 가장 성능이 좋은 관점을 '선생님'으로 선택한 다음, 역방향 KL 목적 함수를 사용하여 다른 관점들을 선생님의 방식으로 학습합니다. 기하 문제를 평가하는 다양한 추론 벤치마크에서 MIRROR은 표준 강화 학습보다 우수한 성능을 보이며, 모든 모달리티에서 더 정확하고 일관된 동작을 보여줍니다.

Unlike large language models (LLMs) that exhibit strong reasoning capabilities, vision-language models (VLMs) struggle with visual reasoning, even on geometry problems that admit equivalent text, diagram, and combined diagram+text views. We show that these views often elicit different behaviors: a model may solve a problem from text but fail on the corresponding diagram, or succeed visually while failing textually. This inconsistency suggests that different views expose complementary reasoning paths and failure modes that standard multimodal post-training does not fully exploit. To study and exploit this phenomenon, we construct ODA-Data, a high-quality paired multimodal geometry dataset with text-dominant, image-dominant, and combined image+text views of the same problems, together with splits for training and evaluating modality-dependent reasoning behaviors. We then develop Modality-Informed Reciprocal Reasoning Optimization (MIRROR), a reinforcement learning approach for improving multimodal reasoning via self supervision. For each problem, MIRROR evaluates the model under all views, selects the best-performing view as a teacher, and trains other views with a reverse-KL objective towards the teacher. Across reasoning benchmarks that evaluate on geometry problems, MIRROR improves over standard RL and yields more accurate and consistent behavior across modalities