SciFig: 과학적 도해 생성 자동화를 향하여

SciFig: Towards Automating Scientific Figure Generation

과학 논문을 위한 고품질의 그림과 시각화 자료를 제작하는 것은 깊은 도메인 지식과 전문적인 디자인 기술을 모두 필요로 하는, 시간이 많이 소요되는 작업입니다. 매년 250만 편 이상의 과학 논문이 출판되고 있음에도 불구하고, 그림 생성 과정은 여전히 대부분 수작업으로 이루어지고 있습니다. 우리는 연구 논문 텍스트에서 직접 출판 가능한 수준의 파이프라인 그림을 생성하는 엔드투엔드(end-to-end) AI 에이전트 시스템인 SciFig를 소개합니다. SciFig는 계층적 레이아웃 생성 전략을 사용하여 연구 설명을 분석해 구성 요소 간의 관계를 식별하고, 관련 요소를 기능적 모듈로 그룹화하며, 모듈 간의 연결을 생성하여 시각적 체계를 확립합니다. 또한, 반복적인 사고 사슬(Chain-of-Thought, CoT) 피드백 메커니즘을 통해 여러 단계의 시각적 분석과 추론을 거쳐 레이아웃을 점진적으로 개선합니다. 우리는 2,219개의 실제 과학 논문 그림을 분석하여 평가 루브릭을 추출하고 포괄적인 평가 기준을 자동으로 생성하는 루브릭 기반 평가 프레임워크를 도입했습니다. SciFig는 데이터셋 수준 평가에서 70.1%, 논문별 평가에서 66.2%의 전반적인 품질을 달성하고 시각적 명확성, 구조적 조직, 과학적 정확성 등의 지표에서 일관되게 높은 점수를 기록하며 놀라운 성능을 입증했습니다. SciFig 그림 생성 파이프라인과 우리의 평가 벤치마크는 오픈 소스로 공개될 예정입니다.

Creating high-quality figures and visualizations for scientific papers is a time-consuming task that requires both deep domain knowledge and professional design skills. Despite over 2.5 million scientific papers published annually, the figure generation process remains largely manual. We introduce $\textbf{SciFig}$, an end-to-end AI agent system that generates publication-ready pipeline figures directly from research paper texts. SciFig uses a hierarchical layout generation strategy, which parses research descriptions to identify component relationships, groups related elements into functional modules, and generates inter-module connections to establish visual organization. Furthermore, an iterative chain-of-thought (CoT) feedback mechanism progressively improves layouts through multiple rounds of visual analysis and reasoning. We introduce a rubric-based evaluation framework that analyzes 2,219 real scientific figures to extract evaluation rubrics and automatically generates comprehensive evaluation criteria. SciFig demonstrates remarkable performance: achieving 70.1$\%$ overall quality on dataset-level evaluation and 66.2$\%$ on paper-specific evaluation, and consistently high scores across metrics such as visual clarity, structural organization, and scientific accuracy. SciFig figure generation pipeline and our evaluation benchmark will be open-sourced.