VERT: 방사선 보고서 평가를 위한 신뢰성 있는 LLM 기반 평가 모델

VERT: Reliable LLM Judges for Radiology Report Evaluation

현재 방사선 보고서 평가 연구는 주로 LLM 기반 지표 설계 및 흉부 X선 이미지에 대한 소규모 모델의 미세 조정에 초점을 맞추고 있습니다. 그러나 이러한 접근 방식이 다른 모달리티 및 해부학적 영역의 보고서에 적용될 때 얼마나 견고한지에 대해서는 여전히 불확실합니다. 방사선 평가를 위한 LLM 기반 평가 모델로 어떤 모델과 프롬프트 구성이 가장 적합할까요? 본 연구에서는 전문가 평가와 LLM 기반 평가 간의 상관 관계를 철저히 분석했습니다. 저희는 오픈 소스 및 클로즈드 소스 모델(추론 및 비추론 모델)의 다양한 크기를 사용하여 기존의 세 가지 LLM 기반 평가 지표(RadFact, GREEN, FineRadScore)와 저희가 제안하는 LLM 기반 지표인 VERT를 비교했습니다. 비교는 두 개의 전문가 주석 데이터셋인 RadEval 및 RaTE-Eval을 사용하여 여러 모달리티와 해부학적 영역을 포괄했습니다. 또한 RaTE-Eval 데이터셋을 사용하여 몇 가지 시도, 앙상블 기법, 그리고 파라미터 효율적인 미세 조정을 평가했습니다. 지표의 동작을 더 잘 이해하기 위해, 이러한 지표들이 전문가 판단과 얼마나 일치하는지 평가하고, 일치도가 낮고 높은 영역을 식별하기 위한 체계적인 오류 탐지 및 분류 연구를 수행했습니다. 그 결과, VERT는 GREEN에 비해 전문가 판단과의 상관 관계를 최대 11.7% 향상시키는 것으로 나타났습니다. 또한, 1,300개의 학습 샘플만을 사용하여 Qwen3 30B 모델을 미세 조정했을 때 최대 25%의 성능 향상을 얻을 수 있었습니다. 미세 조정된 모델은 추론 시간을 최대 37.2배까지 단축했습니다. 이러한 결과는 LLM 기반 평가 모델의 효과성을 강조하며, 경량화된 적응을 통해 신뢰성 있는 평가를 달성할 수 있음을 보여줍니다.

Current literature on radiology report evaluation has focused primarily on designing LLM-based metrics and fine-tuning small models for chest X-rays. However, it remains unclear whether these approaches are robust when applied to reports from other modalities and anatomies. Which model and prompt configurations are best suited to serve as LLM judges for radiology evaluation? We conduct a thorough correlation analysis between expert and LLM-based ratings. We compare three existing LLM-as-a-judge metrics (RadFact, GREEN, and FineRadScore) alongside VERT, our proposed LLM-based metric, using open- and closed-source models (reasoning and non-reasoning) of different sizes across two expert-annotated datasets, RadEval and RaTE-Eval, spanning multiple modalities and anatomies. We further evaluate few-shot approaches, ensembling, and parameter-efficient fine-tuning using RaTE-Eval. To better understand metric behavior, we perform a systematic error detection and categorization study to assess alignment of these metrics against expert judgments and identify areas of lower and higher agreement. Our results show that VERT improves correlation with radiologist judgments by up to 11.7% relative to GREEN. Furthermore, fine-tuning Qwen3 30B yield gains of up to 25% using only 1,300 training samples. The fine-tuned model also reduces inference time up to 37.2 times. These findings highlight the effectiveness of LLM-based judges and demonstrate that reliable evaluation can be achieved with lightweight adaptation.