Chart-FR1: 시각적 집중 기반의 상세한 추론을 통한 밀집 차트 이해

Chart-FR1: Visual Focus-Driven Fine-Grained Reasoning on Dense Charts

멀티모달 대규모 언어 모델(MLLM)은 차트 이해 및 추론 작업에서 상당한 잠재력을 보여주었습니다. 그러나 서브플롯, 범례, 밀집된 주석이 많은 고정보밀도(HID) 차트의 경우, 세 가지 주요 문제로 인해 어려움을 겪습니다. (1) 제한적인 상세한 인식 능력으로 인해 중요한 시각적 단서가 누락됩니다. (2) 중복되거나 노이즈가 많은 시각 정보는 멀티모달 추론 성능을 저해합니다. (3) 시각 정보의 양에 따른 적응적인 심층 추론 능력이 부족합니다. 이러한 문제점을 해결하기 위해, 우리는 HID 차트에 대한 인식, 집중 효율성, 그리고 적응적인 심층 추론 능력을 향상시키는 새로운 시각적 집중 기반의 상세한 차트 추론 모델인 Chart-FR1을 제안합니다. 구체적으로, 우리는 추론 단계를 중요한 시각적 단서(예: 로컬 이미지 영역 및 OCR 신호)와 명시적으로 연결하여 상세한 인식을 향상시키는 시각적 집중 연쇄 추론(Focus-CoT)을 제안합니다. 이를 바탕으로, 우리는 정보 효율성 보상을 통해 중복된 시각 정보를 압축하여 효율적인 집중을 가능하게 하는 시각적 집중 강화 학습 알고리즘인 Focus-GRPO를 소개하고, 발견되는 시각적 단서의 증가에 따라 추론 깊이를 유연하게 제어할 수 있는 적응적 KL 페널티 메커니즘을 도입합니다. 또한, HID 차트에 대한 벤치마크의 부족을 해결하기 위해, 상세한 차트 추론 능력을 평가하기 위한 정보 밀도 지표를 갖춘 도전적인 벤치마크인 HID-Chart를 구축했습니다. 여러 차트 벤치마크에 대한 광범위한 실험 결과, Chart-FR1이 차트 이해 및 추론에서 최첨단 MLLM보다 우수한 성능을 보임을 확인했습니다. 코드는 https://github.com/phkhub/Chart-FR1 에서 확인할 수 있습니다.

Multimodal large language models (MLLMs) have shown considerable potential in chart understanding and reasoning tasks. However, they still struggle with high information density (HID) charts characterized by multiple subplots, legends, and dense annotations due to three major challenges: (1) limited fine-grained perception results in the omission of critical visual cues; (2) redundant or noisy visual information undermines the performance of multimodal reasoning; (3) lack of adaptive deep reasoning relative to the amount of visual information. To tackle these challenges, we present a novel focus-driven fine-grained chart reasoning model, Chart-FR1, to improve perception, focusing efficiency, and adaptive deep reasoning on HID charts. Specifically, we propose Focus-CoT, a visual focusing chain-of-thought that enhances fine-grained perception by explicitly linking reasoning steps to key visual cues, such as local image regions and OCR signals. Building on this, we introduce Focus-GRPO, a focus-driven reinforcement learning algorithm with an information-efficiency reward that compresses redundant visual information for efficient focusing, and an adaptive KL penalty mechanism that enables flexible control over reasoning depth as more visual cues are discovered. Furthermore, to fill the gap in benchmarks for HID charts, we build HID-Chart, a challenging benchmark with an information-density metric designed to evaluate fine-grained chart reasoning capabilities. Extensive experiments on multiple chart benchmarks demonstrate that Chart-FR1 outperforms state-of-the-art MLLMs in chart understanding and reasoning. Code is available at https://github.com/phkhub/Chart-FR1.