SciFigAlign: 과학 논문의 그림을 시각 요소와 논문 증거의 정밀한 일치성을 기반으로 평가하는 방법

SciFigAlign: Scoring Scientific Figures by Fine-tuned Alignment of Visuals with Manuscript Evidence

동료 심사 과정에서의 과학 논문 그림 평가는 일반적인 이미지 품질 평가와 근본적으로 다릅니다. 그림은 시각적으로 명확해야 하며, 논문의 주장을 충실히 뒷받침하고, 명확한 시각적 계층 구조를 통해 증거를 전달해야 합니다. 그러나 기존의 이미지 품질 평가 방법을 과학 논문 그림 평가에 적용하면 한계가 발생합니다. 기존 IQA 모델은 지각적 품질이나 미학을 평가하지만, 그림이 논문의 과학적 주장을 뒷받침하는지 판단할 수 없습니다. CLIP 기반 방법은 일반적인 이미지-텍스트 대응성을 평가하지만, 논문의 맥락을 이해하지 못합니다. 또한, 제로샷 LLM/VLM 모델을 사용하여 그림 점수를 매기는 경우, 시각 및 텍스트 증거의 통합이 제한되어 결과가 지나치게 편중되는 경향이 있습니다. 본 연구에서는 동료 심사 기준에 따른 네 가지 측면(명확성, 관련성, 정보 제공 능력, 구조)으로 평가된 과학 논문 그림 3,857개를 포함하는 데이터셋을 구축했습니다. 우리는 SciFigAlign이라는 미세 조정된 멀티모달 평가 모델을 제안합니다. SciFigAlign은 그림 품질 평가를 논문의 증거에 기반하도록 설계되었으며, 그림의 일부, 설명 문구, 인용 단락 및 간단한 논문 맥락 정보를 입력으로 사용합니다. SciFigAlign은 CLIP과 SciBERT를 엔드투엔드로 미세 조정하며, 각 모달리티 간의 교차 주의(cross-attention) 메커니즘과 CubeMLP 융합을 사용하여 SmoothL1 회귀와 논문 내 순위 기반 손실 함수를 공동으로 최적화합니다. 논문 수준으로 분할된 데이터에서 SciFigAlign은 평균 절대 오차(MAE) 0.3524 및 논문 내 쌍별 정확도 81.64%를 달성했습니다 (테스트 세트, n=396). 이는 MAE가 0.864인 최적의 LLM 기반 평가 모델에 비해 상대적으로 59%의 오차 감소입니다. 추가 분석 결과, 논문 기반 입력, 인용 맥락 노이즈 제거 및 순위 지도 학습은 모두 중요한 요소이며, 과학 논문 그림 평가는 시각 콘텐츠와 논문 증거 간의 학습된 정렬을 필요로 한다는 것을 확인했습니다. 이는 최첨단 VLM 모델을 사용하더라도 프롬프트만으로는 충분하지 않음을 보여줍니다.

Scientific figure assessment in peer review differs fundamentally from general image quality evaluation: a figure must be visually legible, faithfully support the manuscript's claims, and communicate evidence with a clear visual hierarchy. However, if we apply traditional image assessment methods to scientific figure quality assessment, limitations emerge: classic IQA models capture perceptual quality or aesthetics but cannot judge whether a figure serves the paper's scientific argument; CLIP-based methods assess generic image-text correspondence, yet lack understanding of manuscript context; and zero-shot LLM/VLM judges, when repurposed for figure scoring, often yield overly concentrated scores with limited fusion of visual and textual evidence. We introduce an annotated dataset of 3,857 scientific figures from peer-reviewed conference papers, each rated along four peer-review-oriented dimensions: Clarity, Relevance, Informativeness, and Structure. We propose SciFigAlign, a fine-tuned multimodal scorer that grounds figure quality assessment in manuscript evidence. Given a figure crop, caption, citing paragraphs, and light paper context, SciFigAlign fine-tunes CLIP and SciBERT end-to-end with per-modality cross-attention and CubeMLP fusion, jointly optimizing SmoothL1 regression with a within-paper ranking hinge loss. Under paper-level splits, SciFigAlign achieves a macro MAE of 0.3524 and a within-paper pairwise accuracy of 81.64% on the test set with n = 396, a 59% relative error reduction over the best LLM-as-judge baseline with MAE 0.864. Ablations confirm that manuscript-grounded inputs, citing-context denoising, and ranking supervision are all critical, showing that scientific figure assessment requires learned alignment between visual content and manuscript evidence rather than prompting alone, even with state-of-the-art VLMs.