문서 내용 불일치 시: 검색 증강 언어 모델을 활용하여 장기 이식 지침의 기관별 차이를 측정하는 방법

When Documents Disagree: Measuring Institutional Variation in Transplant Guidance with Retrieval-Augmented Language Models

미국 내 각 의료기관의 장기 이식 환자 교육 자료는 상당한 차이를 보이지만, 이러한 이질성을 대규모로 정량화할 수 있는 체계적인 방법은 존재하지 않습니다. 본 연구에서는 검색 증강 언어 모델을 활용하여 동일한 환자 질문을 다양한 의료기관의 핸드북에 적용하고, 5단계 일관성 분류 체계를 사용하여 답변을 비교하는 프레임워크를 제시합니다. 23개 의료기관의 102개 핸드북과 1,115개의 벤치마크 질문에 적용한 결과, 이 프레임워크는 질문, 주제, 장기, 의료기관의 네 가지 차원에서 이질성을 정량화합니다. 분석 결과, 짝지어진 비교 중 20.8%에서 임상적으로 의미 있는 차이가 나타났으며, 이는 주로 질병 모니터링 및 생활 습관 관련 주제에서 두드러집니다. 더욱 중요한 것은 정보 누락의 정도인데, 질문-핸드북 쌍의 96.2%에서 관련 내용이 누락되어 있으며, 특히 생식 건강 관련 정보는 95.1%에서 누락되어 있습니다. 의료기관별 이질성 프로필은 안정적이고 해석 가능하며, 이는 환자 다양성과 같은 체계적인 기관 간 차이를 반영하는 것으로 보입니다. 이러한 결과는 장기 이식 환자 교육 자료의 정보 격차를 드러내며, 문서 기반 의료 질문 답변 기술을 통해 콘텐츠 개선의 기회를 제시합니다.

Patient education materials for solid-organ transplantation vary substantially across U.S. centers, yet no systematic method exists to quantify this heterogeneity at scale. We introduce a framework that grounds the same patient questions in different centers' handbooks using retrieval-augmented language models and compares the resulting answers using a five-label consistency taxonomy. Applied to 102 handbooks from 23 centers and 1,115 benchmark questions, the framework quantifies heterogeneity across four dimensions: question, topic, organ, and center. We find that 20.8% of non-absent pairwise comparisons exhibit clinically meaningful divergence, concentrated in condition monitoring and lifestyle topics. Coverage gaps are even more prominent: 96.2% of question-handbook pairs miss relevant content, with reproductive health at 95.1% absence. Center-level divergence profiles are stable and interpretable, where heterogeneity reflects systematic institutional differences, likely due to patient diversity. These findings expose an information gap in transplant patient education materials, with document-grounded medical question answering highlighting opportunities for content improvement.