3차원 의료 영상 보고서 생성: 지역 기반 보고서 생성 시스템, 세분화된 데이터셋 및 그래프 기반 프레임워크

Region-Grounded Report Generation for 3D Medical Imaging: A Fine-Grained Dataset and Graph-Enhanced Framework

3차원 PET/CT 영상에 대한 자동 의료 보고서 생성은 고차원 데이터의 특성과, 특히 저자원 언어에 대한 주석이 달린 데이터셋의 심각한 부족으로 인해 근본적인 어려움을 겪고 있습니다. 현재의 블랙박스 방식은 전체 영상을 보고서로 매핑하지만, 진단 결론을 도출하기 위해 특정 관심 영역(RoI)을 분석하는 임상 워크플로우를 고려하지 않습니다. 본 논문에서는 이러한 격차를 해소하기 위해, 저자원 언어에 대한 세분화된 RoI 주석이 포함된 최초의 대규모 3차원 PET/CT 데이터셋인 VietPET-RoI를 소개합니다. 이 데이터셋은 600개의 PET/CT 샘플과 1,960개의 수동으로 주석이 달린 RoI로 구성되어 있으며, 각 RoI에는 해당 임상 보고서가 연결되어 있습니다. 또한, 이 데이터셋의 유용성을 입증하기 위해, RoI 속성 간의 관계를 파악하기 위해 그래프 기반 관계 모듈을 사용하여 전문 방사선과 의사의 진단 워크플로우를 모방하는 새로운 프레임워크인 HiRRA를 제안합니다. 이 접근 방식은 전역 패턴 매칭에서 벗어나 지역화된 임상적 발견에 초점을 맞춥니다. 또한, LLM 기반 추출을 사용하여 RoI 위치 정확도와 속성 설명의 충실도를 측정하는 새로운 임상 평가 지표인 RoI Coverage 및 RoI Quality Index를 소개합니다. 광범위한 평가 결과, 제안하는 프레임워크가 SOTA 성능을 달성했으며, 기존 모델보다 BLEU 점수에서 19.7%, ROUGE-L 점수에서 4.7% 향상되었으며, 임상 지표에서 45.8%라는 놀라운 향상을 보여 임상적 신뢰성이 향상되고 환각 현상이 줄어들었습니다. 저희의 코드와 데이터셋은 GitHub에서 이용 가능합니다.

Automated medical report generation for 3D PET/CT imaging is fundamentally challenged by the high-dimensional nature of volumetric data and a critical scarcity of annotated datasets, particularly for low-resource languages. Current black-box methods map whole volumes to reports, ignoring the clinical workflow of analyzing localized Regions of Interest (RoIs) to derive diagnostic conclusions. In this paper, we bridge this gap by introducing VietPET-RoI, the first large-scale 3D PET/CT dataset with fine-grained RoI annotation for a low-resource language, comprising 600 PET/CT samples and 1,960 manually annotated RoIs, paired with corresponding clinical reports. Furthermore, to demonstrate the utility of this dataset, we propose HiRRA, a novel framework that mimics the professional radiologist diagnostic workflow by employing graph-based relational modules to capture dependencies between RoI attributes. This approach shifts from global pattern matching toward localized clinical findings. Additionally, we introduce new clinical evaluation metrics, namely RoI Coverage and RoI Quality Index, that measure both RoI localization accuracy and attribute description fidelity using LLM-based extraction. Extensive evaluation demonstrates that our framework achieves SOTA performance, surpassing existing models by 19.7% in BLEU and 4.7% in ROUGE-L, while achieving a remarkable 45.8% improvement in clinical metrics, indicating enhanced clinical reliability and reduced hallucination. Our code and dataset are available on GitHub.