REALM: 대규모 언어 모델을 활용한 RAG 기반의 멀티모달 전자건강기록 분석 강화

REALM: RAG-Driven Enhancement of Multimodal Electronic Health Records Analysis via Large Language Models

멀티모달 전자건강기록(EHR) 데이터의 통합은 임상 예측 능력을 크게 향상시켰습니다. 임상 노트와 다변량 시계열 EHR을 활용하는 기존 모델들은 종종 임상 작업과 관련된 의학적 문맥이 결여되어 있으며, 이로 인해 지식 그래프(KG)와 같은 외부 지식의 도입이 요구되고 있습니다. KG 지식을 활용한 기존 접근 방식들은 주로 구조화된 지식 추출에 초점을 맞추었으며, 비정형 데이터 모달리티와 의미론적인 고차원 의학 지식은 간과했습니다. 이에 대응하여, 우리는 이러한 한계를 해결하고 멀티모달 EHR 표현을 강화하기 위해 검색 증강 생성(RAG) 기반 프레임워크인 REALM을 제안합니다. 첫째, 우리는 긴 문맥의 임상 노트를 인코딩하기 위해 대규모 언어 모델(LLM)을 적용하고, 시계열 EHR 데이터를 인코딩하기 위해 GRU 모델을 적용합니다. 둘째, LLM에 프롬프트를 사용하여 작업과 관련된 의료 개체(entity)를 추출하고, 전문적으로 라벨링된 외부 지식 그래프(PrimeKG) 내의 개체를 해당 의학 지식과 매칭합니다. 임상 표준에 맞춰 매칭하고 정렬함으로써, 우리의 프레임워크는 환각(hallucination) 현상을 제거하고 일관성을 보장합니다. 마지막으로, 추출된 지식을 멀티모달 EHR 데이터와 통합하기 위해 적응형 멀티모달 융합 네트워크를 제안합니다. MIMIC-III 사망률 및 재입원 예측 작업에 대한 광범위한 실험은 베이스라인 모델 대비 REALM 프레임워크의 우수한 성능을 보여주며, 각 모듈의 효과를 강조합니다. REALM 프레임워크는 헬스케어 분야에서 멀티모달 EHR 데이터의 활용을 개선하고, 정확한 임상 예측에 필수적인 미묘한 의학적 문맥과의 간극을 좁히는 데 기여합니다.

The integration of multimodal Electronic Health Records (EHR) data has significantly improved clinical predictive capabilities. Leveraging clinical notes and multivariate time-series EHR, existing models often lack the medical context relevent to clinical tasks, prompting the incorporation of external knowledge, particularly from the knowledge graph (KG). Previous approaches with KG knowledge have primarily focused on structured knowledge extraction, neglecting unstructured data modalities and semantic high dimensional medical knowledge. In response, we propose REALM, a Retrieval-Augmented Generation (RAG) driven framework to enhance multimodal EHR representations that address these limitations. Firstly, we apply Large Language Model (LLM) to encode long context clinical notes and GRU model to encode time-series EHR data. Secondly, we prompt LLM to extract task-relevant medical entities and match entities in professionally labeled external knowledge graph (PrimeKG) with corresponding medical knowledge. By matching and aligning with clinical standards, our framework eliminates hallucinations and ensures consistency. Lastly, we propose an adaptive multimodal fusion network to integrate extracted knowledge with multimodal EHR data. Our extensive experiments on MIMIC-III mortality and readmission tasks showcase the superior performance of our REALM framework over baselines, emphasizing the effectiveness of each module. REALM framework contributes to refining the use of multimodal EHR data in healthcare and bridging the gap with nuanced medical context essential for informed clinical predictions.