다중 시퀀스 이미징을 이용한 척추 MRI 보고서 생성 시스템

A multi-agent system for spine MRI report generation from multi-sequence imaging

척수 질환은 전 세계적으로 통증과 장애의 주요 원인입니다. 척추 자기공명영상(MRI)은 임상 평가에 매우 중요하지만, 여러 이미지 시퀀스와 해부학적 영역에 걸쳐 정보를 통합해야 하므로 해석이 복잡하고 시간이 많이 소요됩니다. 최근 자동화된 MRI 분석 기술이 발전했지만, 여전히 다중 시퀀스 데이터를 효과적으로 결합하면서 각 시퀀스의 고유한 진단 정보를 유지하는 것은 해결해야 할 과제입니다. 본 연구에서는 32,047명의 환자로부터 수집된 일상적인 임상 데이터와 총 13,441,191장의 MRI 슬라이스를 사용하여 구축된 다중 시퀀스 기반 모델을 활용한 다중 에이전트 프레임워크인 SpineAgent를 소개합니다. 다양한 이미지 시퀀스 모드를 고려하기 위해, 먼저 T1 및 T2 가중치 시퀀스에 대해 DINOv3 기반 인코더 두 개를 별도로 사전 훈련했습니다. 그런 다음, T1 및 T2 인코더를 사용하여 다른 시퀀스의 이미지를 임베딩하는 합성기를 학습하는 지속적인 학습 전략을 도입하여 다양한 MRI 시퀀스에서 얻은 정보를 통합한 환자 수준의 임베딩을 생성합니다. SpineAgent는 이러한 임베딩을 활용하여 최첨단 성능을 달성하며, 제조사 및 코호트 간 평가에서도 강력한 일반화 능력을 보여줍니다. 분류 외에도 SpineAgent는 질병 부위를 찾아내고 병변 영역을 분할함으로써 질병 위치 파악 기능을 제공합니다. 또한, 다중 모드 이미지-보고서 검색을 지원하여 확장 가능하고 설명 가능한 MRI 보고서 생성의 기반을 마련합니다. 이러한 검증된 SpineAgent의 기능을 37개의 전문 에이전트로 통합했습니다. 마지막으로, 이들 에이전트의 출력을 구조화된 토큰으로 변환하여 보고서 생성을 위해 엔드투엔드로 학습된 의료 보고서 에이전트에 입력합니다. 자동화된 지표와 다섯 명의 방사선 전문의의 평가를 통해 SpineAgent는 척추 MRI 보고서 생성 분야에서 뛰어난 성능을 보여줍니다.

Spinal pathology is a leading cause of pain and disability worldwide. Spine MRI is central to clinical evaluation, yet its interpretation remains complex and time-consuming, requiring integration of information across multiple imaging sequences and anatomical regions. Despite recent advances in automated MRI analysis, effectively combining multi-sequence data while preserving sequence-specific diagnostic information remains an open challenge. Here we present SpineAgent, a multi-agent framework for spine MRI report generation built upon a multi-sequence foundation model trained on routine clinical data from 32,047 patients and 453,683 MRI series, comprising a total of 13,441,191 MRI slices. To accommodate diverse modalities of sequences, we first pre-train two DINOv3-based encoders separately on T1- and T2-weighted sequences. We then introduce a continual training strategy that learns a synthesizer to embed images of other sequences using the T1 and T2 encoders, producing patient-level embedding that integrates various signals across MRI sequences. Using these embeddings, SpineAgent achieves state-of-the-art performance, and demonstrates strong generalizability under cross-manufacturer and cross-cohort evaluation. Beyond classification, SpineAgent enables pathology localization by identifying findings-relevant slices and segmenting pathological regions. It also supports multimodal image-report retrieval, providing a solid foundation for scalable and explainable MRI report generation. We further integrate these validated capabilities of SpineAgent into 37 specialized agents. Finally, we incorporate their outputs as structured tokens within a Medical Report Agent trained end-to-end for report generation. Through both automated metrics and expert evaluation by five radiologists, SpineAgent achieves leading performance in spine MRI report generation.