임상 예측 모델을 위한 인간-AI 공동 설계

Human-AI Co-design for Clinical Prediction Models

안전하고 효과적이며 실질적으로 유용한 임상 예측 모델(CPM)을 개발하는 것은 전통적으로 임상 전문가, 데이터 과학자, 정보학자 간의 반복적인 협업을 필요로 한다. 이 과정은 어떤 특징/환자를 포함할지, 임상 범주를 어떻게 정의할지와 같이 모델 구축 과정에서 작지만 중요한 세부 사항들을 정제한다. 그러나 이러한 전통적인 협업 과정은 시간과 자원이 매우 많이 소모되므로, 실제로 임상 현장에 도입되는 CPM은 극히 일부에 불과하다. 방대한 수의 개념을 포함할 수 있는 비정형 임상 노트를 통합하려고 할 때 이러한 문제는 더욱 심화된다. 이러한 문제를 해결하기 위해, 우리는 임상 노트 내의 개념 탐색을 가능하게 함으로써 완전히 해석 가능한 CPM의 개발을 가속화하는, AI 에이전트 활용 반복적 인간 참여형(human-in-the-loop) 프레임워크인 HACHI를 소개한다. HACHI는 (i) AI 에이전트가 임상 노트에서 후보 개념을 신속하게 탐색 및 평가하는 단계와 (ii) 임상 및 도메인 전문가가 CPM 학습 과정을 개선하기 위해 피드백을 제공하는 단계를 번갈아 수행한다. HACHI는 개념을 선형 모델에서 사용되는 간단한 예/아니오 질문으로 정의하여, 임상 AI 팀이 각 라운드에서 학습된 CPM을 투명하게 검토, 수정 및 검증할 수 있도록 한다. 두 가지 실제 예측 과제(급성 신장 손상 및 외상성 뇌 손상)에서 HACHI는 기존 접근 방식보다 뛰어난 성능을 보였으며, 널리 사용되는 CPM에 포함되지 않은 새로운 임상적 관련 개념을 발굴하고, 임상 현장 및 기간에 따른 모델의 일반화 가능성을 향상시켰다. 더 나아가 HACHI는 AI 에이전트에게 이전에 고려하지 않았던 개념을 탐색하도록 지시하거나, 고려 대상 개념의 세분화 정도를 조정하고, 임상 목표에 더 잘 부합하도록 목적 함수를 변경하며, 데이터 편향 및 누수 문제를 식별하는 등 임상 AI 팀의 결정적인 역할을 보여준다.

Developing safe, effective, and practically useful clinical prediction models (CPMs) traditionally requires iterative collaboration between clinical experts, data scientists, and informaticists. This process refines the often small but critical details of the model building process, such as which features/patients to include and how clinical categories should be defined. However, this traditional collaboration process is extremely time- and resource-intensive, resulting in only a small fraction of CPMs reaching clinical practice. This challenge intensifies when teams attempt to incorporate unstructured clinical notes, which can contain an enormous number of concepts. To address this challenge, we introduce HACHI, an iterative human-in-the-loop framework that uses AI agents to accelerate the development of fully interpretable CPMs by enabling the exploration of concepts in clinical notes. HACHI alternates between (i) an AI agent rapidly exploring and evaluating candidate concepts in clinical notes and (ii) clinical and domain experts providing feedback to improve the CPM learning process. HACHI defines concepts as simple yes-no questions that are used in linear models, allowing the clinical AI team to transparently review, refine, and validate the CPM learned in each round. In two real-world prediction tasks (acute kidney injury and traumatic brain injury), HACHI outperforms existing approaches, surfaces new clinically relevant concepts not included in commonly-used CPMs, and improves model generalizability across clinical sites and time periods. Furthermore, HACHI reveals the critical role of the clinical AI team, such as directing the AI agent to explore concepts that it had not previously considered, adjusting the granularity of concepts it considers, changing the objective function to better align with the clinical objectives, and identifying issues of data bias and leakage.