NeoNet: 생성 모델 기반 분류를 활용한 3차원 MRI 기반 딥러닝 프레임워크를 통한 비침습적 신경 침윤 예측

NeoNet: An End-to-End 3D MRI-Based Deep Learning Framework for Non-Invasive Prediction of Perineural Invasion via Generation-Driven Classification

환자 부상 및 감염 위험을 줄이기 위해 최소 침습적 진단 절차를 사용하는 것은 의료 영상의 핵심 목표입니다. 그러나 종양 세포가 주변 신경을 따라 침윤되는 중요한 예후 지표인 신경 침윤(PNI)의 비침습적 진단은 여전히 어려운 과제로 남아 있습니다. 명확하고 일관된 신경 침윤 식별 기준이 부족하기 때문입니다. 이러한 과제를 해결하기 위해, 우리는 미리 정의된 이미지 특징에 의존하지 않고 담관암에서 신경 침윤을 예측하는 통합형 엔드투엔드 3차원 딥러닝 프레임워크인 NeoNet을 제시합니다. NeoNet은 세 가지 모듈로 구성됩니다: (1) 종양 위치 기반 관심 영역 추출(TLCR) 알고리즘을 사용하는 NeoSeg; (2) 해부학적 마스크를 기반으로 합성 이미지 패치를 생성하여 데이터셋의 균형을 1:1 비율로 맞추는 3차원 잠재 확산 모델(LDM)과 ControlNet을 사용하는 NeoGen; (3) 최종 예측 모듈인 NeoCls. NeoCls의 경우, 우리는 고정된 LDM 인코더와 신경 침윤의 미묘한 강도 변화와 공간 패턴을 감지하도록 설계된 특수 3차원 듀얼 어텐션 블록(DAB)을 사용하는 신경 침윤 어텐션 네트워크(PattenNet)를 개발했습니다. 5-fold 교차 검증에서 NeoNet은 기존 3차원 모델보다 뛰어난 성능을 보였으며, 최대 AUC는 0.7903으로 가장 높은 성능을 달성했습니다.

Minimizing invasive diagnostic procedures to reduce the risk of patient injury and infection is a central goal in medical imaging. And yet, noninvasive diagnosis of perineural invasion (PNI), a critical prognostic factor involving infiltration of tumor cells along the surrounding nerve, still remains challenging, due to the lack of clear and consistent imaging criteria criteria for identifying PNI. To address this challenge, we present NeoNet, an integrated end-to-end 3D deep learning framework for PNI prediction in cholangiocarcinoma that does not rely on predefined image features. NeoNet integrates three modules: (1) NeoSeg, utilizing a Tumor-Localized ROI Crop (TLCR) algorithm; (2) NeoGen, a 3D Latent Diffusion Model (LDM) with ControlNet, conditioned on anatomical masks to generate synthetic image patches, specifically balancing the dataset to a 1:1 ratio; and (3) NeoCls, the final prediction module. For NeoCls, we developed the PNI-Attention Network (PattenNet), which uses the frozen LDM encoder and specialized 3D Dual Attention Blocks (DAB) designed to detect subtle intensity variations and spatial patterns indicative of PNI. In 5-fold cross-validation, NeoNet outperformed baseline 3D models and achieved the highest performance with a maximum AUC of 0.7903.