다양한 관점을 통해: 선택적 뉴런을 활용한 파라미터 효율적인 미세 조정으로 일관성 있는 방사선 보고서 생성

Seeing Through Multiple Views: Parameter-Efficient Fine-Tuning via Selective Neurons for Consistent Radiology Report Generation

최근 몇 년 동안 방사선 보고서 생성(RRG) 분야에서 상당한 발전이 있었지만, 기존 접근 방식은 주로 다중 뷰 X-ray 이미지를 처리할 때 직접적인 특징 융합을 사용합니다. 이러한 방식은 단일 모델이 서로 다른 뷰를 처리할 때 발생할 수 있는 잠재적인 임상적 불일치 및 부정확성을 간과하며, 이는 성능과 임상 신뢰성에 부정적인 영향을 미칩니다. 이에 우리는 신경망 관점에서 뷰 일관성 있는 보고서 생성을 촉진하는 파라미터 효율적인 프레임워크인 View-PNDF(View-specific Pattern Neuron Detection and Fine-tuning)를 제안합니다. 구체적으로, View-PNDF는 다음과 같이 구성됩니다: (i) 특정 뷰에 반응하는 뉴런을 식별하는 뷰별 뉴런 검출 모듈, (ii) 이러한 뉴런의 존재 여부를 정량화하는 검증 모듈, 그리고 (iii) 검출된 뉴런을 강화하고 동시에 뷰에 독립적인 표현을 유지하는 선택적 미세 조정 전략입니다. View-PNDF는 오직 뷰별 뉴런만 업데이트함으로써 계산 비용을 줄이면서 다양한 뷰에서 일관된 진단을 달성합니다. 이후, Large Language Models(LLM)를 활용하여 뷰별 보고서를 통합적인 방사선 보고서로 만듭니다. 또한, 통합 보고서에 대한 전통적인 자연어 생성(NLG) 지표 기반 평가를 수행하여 기준 성능을 비교하고, 뷰별 보고서의 임상적 중요성을 파악하기 위해 LLM 기반 평가 (예: GPT-4o)를 활용합니다. 두 가지 의료 RRG 벤치마크에 대한 광범위한 실험 결과, View-PNDF는 전체적인 성능을 유지하면서 특정 뷰의 흉부 X-ray 보고서 생성 품질을 크게 향상시키는 것으로 나타났습니다.

Recent years have seen substantial advances in radiology report generation (RRG), yet existing approaches predominantly adopt direct feature fusion when handling multi-view X-ray images. Such approaches overlook the potential clinical inconsistencies and inaccuracies arising when a single model processes different views, adversely impacting performance and clinical reliability. To this end, we introduce View-PNDF (View-specific Pattern Neuron Detection and Fine-tuning), a parameter-efficient framework that fosters view-consistent report generation from a neuronal perspective. Specifically, View-PNDF comprises: (i) a view-specific neuron detection module identifying neurons responsive to particular views, (ii) a verification module quantifying the existence of these neurons, and (iii) a selective fine-tuning strategy strengthening detected neurons while preserving view-agnostic representations. By updating only view-specific neurons, View-PNDF achieves consistent diagnoses across different views with reduced computational costs. Subsequently, we employ Large Language Models (LLMs) to consolidate the view-specific reports into a complete radiology report. Furthermore, we use traditional Natural Language Generation (NLG) metrics-based assessment on integrated reports for baseline comparison and employ LLM-based assessment (e.g., GPT-4o) on view-specific reports to capture clinical significance. Extensive experiments on two medical RRG benchmarks demonstrate that View-PNDF substantially improves view-specific chest X-ray report generation quality while maintaining robust general-view performance.