프로토타입 기반 지식 가이드: 정밀한 구조화된 방사선 보고서 작성

Prototype-Based Knowledge Guidance for Fine-Grained Structured Radiology Reporting

구조화된 방사선 보고는 자유 텍스트 방식보다 빠르고 일관된 의사소통을 가능하게 하지만, 모델이 제한된 구조화된 데이터만으로 희귀한 발견 및 속성에 대한 많은 정밀한 결정을 내려야 하므로 자동화가 여전히 어렵습니다. 반면, 자유 텍스트 보고서는 일상적인 진료에서 대량으로 생성되며, 상세한 설명을 통해 이미지와 관련된 정밀한 정보를 암묵적으로 포함하고 있습니다. 본 연구에서는 이러한 비정형 지식을 활용하기 위해, 자유 텍스트 정보를 구조화된 보고서 생성에 통합하는 방법인 ProtoSR을 제안합니다. 먼저, 지시-튜닝된 LLM을 사용하여 80,000개 이상의 MIMIC-CXR 연구 데이터를 분석하고, 구조화된 보고서 템플릿과 일치하는 멀티모달 지식 베이스를 구축하는 자동 추출 파이프라인을 소개합니다. 이 지식 베이스는 각 답변 옵션을 시각적 프로토타입으로 표현합니다. ProtoSR은 이 지식 베이스를 사용하여 현재 이미지-질문 쌍에 관련된 프로토타입을 검색하고, 프로토타입 기반의 잔차를 통해 모델 예측을 보완하여 데이터 기반의 추가 의견을 제공함으로써 예측을 선택적으로 수정합니다. Rad-ReStruct 벤치마크에서 ProtoSR은 최고 수준의 결과를 달성했으며, 특히 상세한 속성 관련 질문에서 가장 큰 성능 향상을 보였습니다. 이는 자유 텍스트에서 얻은 정보를 통합하여 정밀한 이미지 이해를 향상시키는 데 효과적임을 보여줍니다.

Structured radiology reporting promises faster, more consistent communication than free text, but automation remains difficult as models must make many fine-grained, discrete decisions about rare findings and attributes from limited structured supervision. In contrast, free-text reports are produced at scale in routine care and implicitly encode fine-grained, image-linked information through detailed descriptions. To leverage this unstructured knowledge, we propose ProtoSR, an approach for injecting free-text information into structured report population. First, we introduce an automatic extraction pipeline that uses an instruction-tuned LLM to mine 80k+ MIMIC-CXR studies and build a multimodal knowledge base aligned with a structured reporting template, representing each answer option with a visual prototype. Using this knowledge base, ProtoSR is trained to retrieve prototypes relevant for the current image-question pair and augment the model predictions through a prototype-conditioned residual, providing a data-driven second opinion that selectively corrects predictions. On the Rad-ReStruct benchmark, ProtoSR achieves state-of-the-art results, with the largest improvements on detailed attribute questions, demonstrating the value of integrating free-text derived signal for fine-grained image understanding.