설명을 넘어: 통찰력 있는 차트 요약을 위한 멀티모달 에이전트 프레임워크

Beyond Description: A Multimodal Agent Framework for Insightful Chart Summarization

차트 요약은 데이터 접근성을 높이고 정보를 효율적으로 소비하는 데 매우 중요하다. 그러나 멀티모달 대규모 언어 모델(MLLM)을 활용한 방법을 포함한 기존 방법들은 주로 표면적인 수준의 데이터 설명에만 치중하여, 데이터 시각화의 근본적인 목적인 깊이 있는 통찰력을 포착하는 데 종종 실패한다. 이러한 문제를 해결하기 위해, 우리는 차트 이미지에서 직접 심층적인 통찰력을 이끌어내기 위해 MLLM의 인지 및 추론 능력을 효과적으로 활용하는 계획-실행(plan-and-execute) 기반의 멀티 에이전트 프레임워크인 Chart Insight Agent Flow를 제안한다. 또한, 적합한 벤치마크의 부재를 극복하기 위해 인간 데이터 분석 전문가가 작성한 고품질의 통찰력 있는 요약과 다양한 실제 차트들을 짝지은 새로운 데이터셋인 ChartSummInsights를 소개한다. 실험 결과에 따르면, 우리의 방법은 차트 요약 작업에서 MLLM의 성능을 크게 향상시키며 깊고 다양한 통찰력을 갖춘 요약을 생성하는 것으로 나타났다.

Chart summarization is crucial for enhancing data accessibility and the efficient consumption of information. However, existing methods, including those with Multimodal Large Language Models (MLLMs), primarily focus on low-level data descriptions and often fail to capture the deeper insights which are the fundamental purpose of data visualization. To address this challenge, we propose Chart Insight Agent Flow, a plan-and-execute multi-agent framework effectively leveraging the perceptual and reasoning capabilities of MLLMs to uncover profound insights directly from chart images. Furthermore, to overcome the lack of suitable benchmarks, we introduce ChartSummInsights, a new dataset featuring a diverse collection of real-world charts paired with high-quality, insightful summaries authored by human data analysis experts. Experimental results demonstrate that our method significantly improves the performance of MLLMs on the chart summarization task, producing summaries with deep and diverse insights.