다중 모드 추론을 위한 오프라인-온라인 커리큘럼 강화 학습

Offline-Online Curriculum RL for Multimodal Reasoning

다중 모드 대규모 언어 모델은 추론 작업에서 능력을 보여주지만, 종종 올바른 최종 답변을 제시하면서도 오류가 있는 중간 단계를 생성합니다. 이러한 현상은 해석 가능성과 신뢰성을 저해하며, 진정한 추론보다는 의존적인 꼼수 사용을 시사합니다. 기존 연구에서는 단계별 감독 학습이 시도되었지만, 결정적인 단계와 중복된 단계를 구별하는 것은 여전히 어려운 과제입니다. 본 논문에서는 $O^2$-CritiCuRL이라는 새로운 커리큘럼 강화 학습 프레임워크를 제안하며, 이는 반복적인 오프라인-온라인 패러다임을 통해 중요한 단계에 대한 인식을 도입합니다. 오프라인 단계에서 $O^2$-CritiCuRL은 단계별 주석이 포함된 트레이저리를 사용하여 다중 실행 분석을 수행하고 단계별 중요도를 추정하며, 이를 통해 프레임워크는 중요한 추론 단계를 추출하고 불필요한 단계를 제거합니다. 온라인 단계에서는 점진적인 단계별 강화 학습 전략을 사용하며, 잘린 체인을 활용하여 모델이 누락된 단계를 추론하고 추론 과정을 개선하도록 유도함으로써, 모델의 집중력을 중요한 단계에 맞추고 정적 감독 학습의 한계를 극복합니다. 다중 모드 추론 벤치마크에서의 광범위한 실험 결과는 제안하는 방법이 최첨단 성능을 달성하는 동시에 우수한 학습 및 추론 효율성을 제공함을 보여줍니다. 코드 정보는 https://github.com/kk0013/CritiCuRL 에서 확인할 수 있습니다.

Multimodal large language models exhibit capabilities on reasoning tasks, yet often produce flawed intermediate steps while yielding correct final answers. This behavior undermines interpretability and reliability, suggesting reliance on spurious shortcuts rather than faithful reasoning. Although efforts have explored step-level supervision, distinguishing decisive steps from redundant ones remains challenging. We propose $O^2$-CritiCuRL, a novel curriculum reinforcement learning framework that introduces critical-step awareness through an iterative offline-online paradigm. In the offline stage, $O^2$-CritiCuRL conducts multi-rollout analysis over step-annotated trajectories to estimate step-level importance, allowing the framework to distill critical reasoning steps and filter out redundant ones. In the online stage, we employ a progressive step-level reinforcement learning strategy, where truncated chains guide the model to infer missing steps and refine its reasoning, thereby sharpening its focus on critical steps and overcoming the limitations of static supervision. Extensive experiments on multimodal reasoning benchmarks show that our method achieves state-of-the-art performance while delivering superior training and inference efficiency. Code is available at https://github.com/kk0013/CritiCuRL.