SciDiagramEdit: 논문 수정 과정을 통해 과학 다이어그램 편집 학습

SciDiagramEdit: Learning to Edit Scientific Diagrams from Paper Revisions

연구 논문의 그림을 편집하는 것은 일상적인 연구 과정의 일부이며, 많은 시간과 노력이 소요됩니다. 저자들은 원고를 수정하면서 구성 요소를 재표기하고, 패널을 재배치하며, 시각적 스타일을 변경합니다. 그러나 자연어 지침 하에 이러한 편집 워크플로우를 자동화하는 것은 어렵습니다. 왜냐하면 과학 다이어그램은 복잡한 정보 그래픽으로, 스키마, 그래프, 사진, 캡션, 화살표 등 다양한 시각적 요소들이 특정 주장을 뒷받침하기 위해 엄격한 시각적 규칙에 따라 구성되기 때문입니다. 이러한 문제를 해결하기 위해, 우리는 SciDiagramEdit이라는 벤치마크 및 기술 발전 프레임워크를 제안합니다. 이 프레임워크는 실제 논문 수정 과정을 학습하고, 사용자가 개별적인 기본 요소를 검사하고 함께 편집할 수 있는 다이어그램의 편집 가능한 벡터 소스 데이터를 기반으로 작동합니다. 우리의 벤치마크는 arXiv 버전 기록에서 원본/수정된 그림 쌍을 추출하며, 각 쌍은 저자의 실제 수정 의도를 반영합니다. 다양한 편집 지침에 적응하기 위해, 우리는 에이전트 학습 및 기술 발전을 채택했습니다. 즉, 에이전트는 여러 단계의 실행 추적을 통해 지속적으로 자신의 기술 사양을 개선합니다. 결과적으로 얻어진 기술은 별도의 검증 데이터 세트에서 편집 정확도를 점진적으로 향상시키며, 이는 실제 논문 수정 과정이 지시 기반 그림 편집에 효과적인 학습 신호임을 입증합니다.

Editing the figures in a research paper is a routine and time-consuming part of everyday research practice: authors relabel components, rearrange panels, and restyle visuals as they revise their manuscripts. Automating this editing workflow under a natural-language instruction, however, is challenging, because a scientific figure is a dense infographic in which heterogeneous visual elements such as schematics, plots, photos, captions, and arrows are composed under a tight visual grammar to advance a specific argument. To address this, we present SciDiagramEdit, a benchmark and skill-evolution framework that learns from natural paper revisions and operates on the figure's editable vector source, where users can inspect and co-edit individual primitives alongside the agent. Our benchmark mines before/after figure pairs from arXiv version histories, each grounded in the authors' own revision intent. To accommodate the diversity of editing instructions, we adopt agentic learning via skill evolution: an agentic proposer continually refines the agent's skill specification from execution traces over multiple epochs. The resulting skill progressively lifts edit accuracy on a held-out validation set, providing evidence that natural paper revisions are an effective training signal for instruction-driven figure editing.