전자의무기록(EHR) 통합, 대규모 언어 모델(LLM) 기반 수술 환자 선별 도구의 적용 및 평가

Deployment and Evaluation of an EHR-integrated, Large Language Model-Powered Tool to Triage Surgical Patients

수술 공동 관리(SCM)는 의사들이 수술팀과 함께 입원 전후의 의학적으로 복잡한 환자를 공동으로 관리하는 근거 기반 모델입니다. SCM은 임상적, 재정적 가치가 높지만, 적합한 환자를 수동으로 식별해야 한다는 제약이 있습니다. 본 연구는 SCM 선별 과정을 자동화할 수 있는지 확인하기 위해 스탠포드 헬스케어에서 전향적, 공개 연구를 진행했습니다. LLM 기반의 전자 의무 기록(EHR) 통합 선별 도구(SCM Navigator)가 SCM 권장 사항을 제공하고, 의사가 이를 검토하는 방식으로 진행되었습니다. SCM Navigator는 수술 전 기록, 구조화된 데이터 및 수술 전후 발생 가능한 질병에 대한 임상 기준을 사용하여 환자를 SCM에 적합, 부적합 또는 잠재적으로 적합한 그룹으로 분류했습니다. 연구진은 임상적 판단을 제시하고 의견이 다를 경우 자유 형식의 피드백을 제공했습니다. 의사의 판단을 기준으로 민감도, 특이도, 양성 예측값 및 음성 예측값을 측정했습니다. 자유 형식의 사유는 주제별로 분류되었으며, 모든 오탐(false-negative) 사례와 가장 큰 오진(false-positive) 그룹에서 무작위로 선택된 30건의 사례에 대해 수동으로 차트 검토를 수행했습니다. 도입 이후 6,193건의 사례가 선별되었으며, 이 중 1,582건(23%)이 병원 의사의 상담을 받도록 권장되었습니다. SCM Navigator는 높은 민감도(0.94, 95% CI 0.91-0.96)와 중간 정도의 특이도(0.74, 95% CI 0.71-0.77)를 보였습니다. 사후 차트 검토 결과, 대부분의 불일치는 임상 기준의 수정 가능성이 있는 부분, 기관의 업무 흐름 또는 의사의 진료 방식의 변동성 때문이며, LLM의 오분류는 19건의 오탐 사례 중 2건(11%)에 해당한다는 것을 시사합니다. 이러한 결과는 LLM 기반의 EHR 통합 인공지능 시스템이 인간의 개입 하에 수술 환자를 SCM을 위해 정확하고 안전하게 선별할 수 있으며, 인공지능 기반 선별 도구가 시간 소모적인 임상 워크플로우를 개선하고 잠재적으로 자동화할 수 있음을 보여줍니다.

Surgical co-management (SCM) is an evidence-based model in which hospitalists jointly manage medically complex perioperative patients alongside surgical teams. Despite its clinical and financial value, SCM is limited by the need to manually identify eligible patients. To determine whether SCM triage can be automated, we conducted a prospective, unblinded study at Stanford Health Care in which an LLM-based, electronic health record (EHR)-integrated triage tool (SCM Navigator) provided SCM recommendations followed by physician review. Using pre-operative documentation, structured data, and clinical criteria for perioperative morbidity, SCM Navigator categorized patients as appropriate, not appropriate, or possibly appropriate for SCM. Faculty indicated their clinical judgment and provided free-text feedback when they disagreed. Sensitivity, specificity, positive predictive value, and negative predictive value were measured using physician determinations as a reference. Free-text reasons were thematically categorized, and manual chart review was conducted on all false-negative cases and 30 randomly selected cases from the largest false-positive category. Since deployment, 6,193 cases have been triaged, of which 1,582 (23%) were recommended for hospitalist consultation. SCM Navigator displayed high sensitivity (0.94, 95% CI 0.91-0.96) and moderate specificity (0.74, 95% CI 0.71-0.77). Post-hoc chart review suggested most discrepancies reflect modifiable gaps in clinical criteria, institutional workflow, or physician practice variability rather than LLM misclassification, which accounted for 2 of 19 (11%) false-negative cases. These findings demonstrate that an LLM-powered, EHR-integrated, human-in-the-loop AI system can accurately and safely triage surgical patients for SCM, and that AI-enabled screening tools can augment and potentially automate time-intensive clinical workflows.