다중 모드 수학적 추론 해체: 통합된 인식-정렬-추론 패러다임으로의 접근

Deconstructing Multimodal Mathematical Reasoning: Towards a Unified Perception-Alignment-Reasoning Paradigm

다중 모드 수학적 추론(MMR)은 텍스트 및 시각 모달리티를 모두 활용하여 수학 문제를 해결하는 능력 때문에 최근 큰 관심을 받고 있습니다. 그러나 현재 모델은 여전히 실제 시각 수학 작업에서 상당한 어려움을 겪고 있습니다. 이들은 종종 도면을 잘못 해석하고, 수학 기호를 시각적 증거와 일치시키지 못하며, 일관성 없는 추론 단계를 생성하는 경우가 많습니다. 또한, 기존의 평가는 최종 답변을 확인하는 데 주로 초점을 맞추고 있으며, 각 중간 단계의 정확성이나 실행 가능성을 검증하지 못합니다. 이러한 한계를 해결하기 위해, 최근 연구들은 구조화된 인식, 명시적인 정렬, 그리고 검증 가능한 추론을 통합된 프레임워크 내에서 활용하는 방식으로 이러한 문제들을 해결하고자 합니다. 다양한 MMR 접근 방식을 이해하고 비교하기 위한 명확한 로드맵을 제시하기 위해, 우리는 다음 네 가지 기본적인 질문을 중심으로 체계적으로 연구를 진행했습니다. (1) 다중 모드 입력에서 무엇을 추출해야 하는가, (2) 텍스트 및 시각 정보를 어떻게 표현하고 정렬해야 하는가, (3) 어떻게 추론을 수행해야 하는가, (4) 전체 추론 과정의 정확성을 어떻게 평가해야 하는가. 마지막으로, 우리는 해결해야 할 과제를 논의하고, 향후 연구를 위한 유망한 방향에 대한 관점을 제시합니다.

Multimodal Mathematical Reasoning (MMR) has recently attracted increasing attention for its capability to solve mathematical problems that involve both textual and visual modalities. However, current models still face significant challenges in real-world visual math tasks. They often misinterpret diagrams, fail to align mathematical symbols with visual evidence, and produce inconsistent reasoning steps. Moreover, existing evaluations mainly focus on checking final answers rather than verifying the correctness or executability of each intermediate step. To address these limitations, a growing body of recent research addresses these issues by integrating structured perception, explicit alignment, and verifiable reasoning within unified frameworks. To establish a clear roadmap for understanding and comparing different MMR approaches, we systematically study them around four fundamental questions: (1) What to extract from multimodal inputs, (2) How to represent and align textual and visual information, (3) How to perform the reasoning, and (4) How to evaluate the correctness of the overall reasoning process. Finally, we discuss open challenges and offer perspectives on promising directions for future research.