CogFlow: 시각적 수학 문제 해결을 위한 지식 내재화를 통한 인식과 추론 간의 연결

CogFlow: Bridging Perception and Reasoning through Knowledge Internalization for Visual Mathematical Problem Solving

괄목할 만한 발전에도 불구하고, 멀티모달 대규모 언어 모델은 여전히 시각적 수학 문제 해결에 어려움을 겪고 있습니다. 최근 연구에서는 시각적 인식 능력이 시각적 수학적 추론의 주요 병목 현상이라는 점을 지적하지만, 이러한 연구의 해결책은 주로 시각적 입력의 추출 및 해석 능력 향상에 국한됩니다. 주목할 점은, 이러한 연구들은 추출된 시각적 정보를 얼마나 충실하게 통합하고, 후속 추론 과정에서 적절하게 활용하는지에 대한 핵심적인 문제를 간과한다는 것입니다. 이러한 문제점을 해결하기 위해, 우리는 인간의 추론 과정을 모방하는 세 단계로 구성된 새로운 프레임워크인 CogFlow를 제안합니다. 이 프레임워크는 인식(perception) $ ightarrow$ 내재화(internalization) $ ightarrow$ 추론(reasoning)의 계층적 흐름을 명시적으로 반영합니다. 우리는 이러한 계층적 흐름에 맞춰 모든 단계를 종합적으로 향상시켰습니다. 특히, 매개변수 및 의미 공간에서 인식 능력을 향상시키기 위해 시너지 효과를 내는 시각적 보상(Synergistic Visual Rewards)을 설계하여, 기호와 도표로부터의 시각 정보 추출 능력을 동시에 개선했습니다. 또한, 추출된 시각적 정보를 후속 추론 과정에 충실하게 통합하기 위해, 내재화 단계에서 지식 내재화 보상 모델(Knowledge Internalization Reward model)을 도입하여, 인식과 추론 간의 연결을 강화했습니다. 더 나아가, 추론이 시각적 지식에 기반하도록 하는 시각적 게이트 정책 최적화(Visual-Gated Policy Optimization) 알고리즘을 설계하여, 모델이 일관성이 있어 보이지만 시각적으로 근거가 없는 추론 경로를 선택하는 것을 방지했습니다. 또한, 모델 훈련을 위한 새로운 데이터셋 MathCog를 구축했으며, 이 데이터셋에는 12만 개 이상의 고품질의 인식-추론 정답 데이터가 포함되어 있습니다. 널리 사용되는 시각적 수학적 추론 벤치마크를 사용하여 수행한 다양한 실험과 분석 결과는 제안하는 CogFlow의 우수성을 입증합니다. 프로젝트 페이지: https://shchen233.github.io/cogflow.

Despite significant progress, multimodal large language models continue to struggle with visual mathematical problem solving. Some recent works recognize that visual perception is a bottleneck in visual mathematical reasoning, but their solutions are limited to improving the extraction and interpretation of visual inputs. Notably, they all ignore the key issue of whether the extracted visual cues are faithfully integrated and properly utilized in subsequent reasoning. Motivated by this, we present CogFlow, a novel cognitive-inspired three-stage framework that incorporates a knowledge internalization stage, explicitly simulating the hierarchical flow of human reasoning: perception$\Rightarrow$internalization$\Rightarrow$reasoning. In line with this hierarchical flow, we holistically enhance all its stages. We devise Synergistic Visual Rewards to boost perception capabilities in parametric and semantic spaces, jointly improving visual information extraction from symbols and diagrams. To guarantee faithful integration of extracted visual cues into subsequent reasoning, we introduce a Knowledge Internalization Reward model in the internalization stage, bridging perception and reasoning. Moreover, we design a Visual-Gated Policy Optimization algorithm to further enforce the reasoning is grounded with the visual knowledge, preventing models seeking shortcuts that appear coherent but are visually ungrounded reasoning chains. Moreover, we contribute a new dataset MathCog for model training, which contains samples with over 120K high-quality perception-reasoning aligned annotations. Comprehensive experiments and analysis on commonly used visual mathematical reasoning benchmarks validate the superiority of the proposed CogFlow. Project page: https://shchen233.github.io/cogflow.