만화로 사고하기: 구조화된 시각적 스토리텔링을 통한 다중 모드 추론 능력 향상

Thinking with Comics: Enhancing Multimodal Reasoning through Structured Visual Storytelling

Chain-of-Thought 추론 방식은 거대 언어 모델이 텍스트 기반 사고에서 이미지 및 비디오 기반 사고로 확장되도록 이끌었습니다. 그러나 각 모달리티는 여전히 명확한 한계를 가지고 있습니다. 정적인 이미지는 시간적 구조를 표현하는 데 어려움을 겪는 반면, 비디오는 상당한 중복성과 계산 비용을 초래합니다. 본 연구에서는 Thinking with Comics라는 시각적 추론 패러다임을 제안합니다. 이는 이미지와 비디오의 중간 지점에 위치한 고밀도의 정보 매체인 만화를 활용합니다. 만화는 시간적 구조, 내장된 텍스트 및 내러티브 일관성을 유지하면서도 추론 비용을 크게 줄입니다. 우리는 만화를 기반으로 한 두 가지 추론 경로를 체계적으로 연구하고 다양한 추론 작업 및 장기 컨텍스트 이해 작업에 대한 성능을 평가합니다. 실험 결과는 Thinking with Comics가 다단계 시간적 및 인과적 추론 작업에서 Thinking with Images보다 우수한 성능을 보이며, 비디오 기반 추론보다 훨씬 효율적임을 보여줍니다. 추가 분석에 따르면 다양한 만화 내러티브 구조와 스타일이 작업 전반에 걸쳐 성능에 지속적으로 영향을 미치며, 이는 만화가 다중 모드 추론 능력을 향상시키는 효과적인 중간 시각적 표현 역할을 한다는 것을 시사합니다.

Chain-of-Thought reasoning has driven large language models to extend from thinking with text to thinking with images and videos. However, different modalities still have clear limitations: static images struggle to represent temporal structure, while videos introduce substantial redundancy and computational cost. In this work, we propose Thinking with Comics, a visual reasoning paradigm that uses comics as a high information-density medium positioned between images and videos. Comics preserve temporal structure, embedded text, and narrative coherence while requiring significantly lower reasoning cost. We systematically study two reasoning paths based on comics and evaluate them on a range of reasoning tasks and long-context understanding tasks. Experimental results show that Thinking with Comics outperforms Thinking with Images on multi-step temporal and causal reasoning tasks, while remaining substantially more efficient than Thinking with Video. Further analysis indicates that different comic narrative structures and styles consistently affect performance across tasks, suggesting that comics serve as an effective intermediate visual representation for improving multimodal reasoning.