Omni-R1: 멀티모달 추론을 위한 통합 생성형 패러다임을 향하여

Omni-R1: Towards the Unified Generative Paradigm for Multimodal Reasoning

멀티모달 대형 언어 모델(MLLM)은 멀티모달 추론 분야에서 상당한 발전을 이루고 있습니다. 초기 접근 방식들은 순수 텍스트 기반 추론에 집중했습니다. 보다 최근의 연구들은 추론 단계에 멀티모달 정보를 통합했으나, 종종 단일 작업에 특화된 추론 패턴을 따르기 때문에 다양한 멀티모달 작업에 대한 일반화 능력이 제한적입니다. 실제로 특정 영역을 확대하거나 이미지 내 객체를 표시하는 등 다양한 추론 능력을 요구하는 멀티모달 작업은 무수히 많습니다. 이를 해결하기 위해 본 연구에서는 추론 과정 중에 중간 이미지를 생성하여 다양한 멀티모달 추론 기술을 통합하는 '통합 생성형 멀티모달 추론'을 제안합니다. 우리는 인식 정렬 손실(perception alignment loss)과 인식 보상(perception reward)을 특징으로 하며 기능적 이미지 생성을 가능하게 하는 2단계 SFT+RL 프레임워크인 Omni-R1을 통해 이 패러다임을 구현했습니다. 또한, 텍스트 전용 추론 데이터로부터 단계별 시각화를 부트스트래핑하여 멀티모달 주석(annotation)의 필요성을 제거한 Omni-R1-Zero를 소개합니다. 실험 결과에 따르면 Omni-R1은 광범위한 멀티모달 작업 전반에서 통합 생성형 추론을 달성했으며, Omni-R1-Zero는 평균적으로 Omni-R1과 대등하거나 그 이상의 성능을 보여주어 생성형 멀티모달 추론의 유망한 방향성을 제시하고 있습니다.

Multimodal Large Language Models (MLLMs) are making significant progress in multimodal reasoning. Early approaches focus on pure text-based reasoning. More recent studies have incorporated multimodal information into the reasoning steps; however, they often follow a single task-specific reasoning pattern, which limits their generalizability across various multimodal tasks. In fact, there are numerous multimodal tasks requiring diverse reasoning skills, such as zooming in on a specific region or marking an object within an image. To address this, we propose unified generative multimodal reasoning, which unifies diverse multimodal reasoning skills by generating intermediate images during the reasoning process. We instantiate this paradigm with Omni-R1, a two-stage SFT+RL framework featuring perception alignment loss and perception reward, thereby enabling functional image generation. Additionally, we introduce Omni-R1-Zero, which eliminates the need for multimodal annotations by bootstrapping step-wise visualizations from text-only reasoning data. Empirical results show that Omni-R1 achieves unified generative reasoning across a wide range of multimodal tasks, and Omni-R1-Zero can match or even surpass Omni-R1 on average, suggesting a promising direction for generative multimodal reasoning.