MedClarify: 사례별 후속 질문을 활용한 의료 진단용 정보 탐색 AI 에이전트

MedClarify: An information-seeking AI agent for medical diagnosis with case-specific follow-up questions

대규모 언어 모델(LLMs)은 의학 분야의 진단 작업에 점점 더 많이 사용되고 있다. 임상 환경에서 초기 환자의 증상만으로 즉각적으로 정확한 진단을 추론할 수 있는 경우는 드물다. 오히려 진단에 도달하는 과정은 종종 체계적인 병력 청취를 수반하며, 이 과정에서 임상의는 불확실성을 해소하기 위해 반복적인 질문을 통해 여러 잠재적 질환을 추론한다. 이 과정은 감별 진단을 고려하고 즉각적인 개입이 필요한 응급 상황을 적극적으로 배제하는 것을 요구한다. 그러나 유용한 정보성 후속 질문을 생성하여 감별 진단에 대해 추론하는 의료용 LLM의 능력은 아직 충분히 연구되지 않았다. 본 논문에서는 진단적 의사결정을 지원하는 반복적 추론용 후속 질문을 생성할 수 있는 정보 탐색 AI 에이전트인 MedClarify를 소개한다. 구체적으로, MedClarify는 감별 진단과 유사하게 후보 진단 목록을 산출한 다음, 진단의 불확실성을 줄이는 것을 목표로 선제적인 후속 질문을 생성한다. 기대 정보 획득량이 가장 높은 질문을 선택함으로써, MedClarify는 진단 성능을 향상시키기 위해 표적화되고 불확실성을 인지하는 추론을 가능하게 한다. 실험을 통해 우리는 환자의 사례가 불완전하거나 진단에 필요한 관련 정보가 누락되었을 때 종종 유사한 가능성을 가진 여러 진단을 산출하는 현재 LLM 의료 추론의 한계를 먼저 입증한다. 그런 다음 우리의 정보 이론적 추론 접근법이 효과적인 후속 질문을 생성할 수 있으며, 그 결과 표준 단발성(single-shot) LLM 베이스라인과 비교하여 진단 오류를 약 27퍼센트포인트(p.p.) 줄일 수 있음을 보여준다. 결론적으로, MedClarify는 에이전트적 정보 탐색을 통해 의료용 LLM을 개선하고, 이를 통해 실제 임상 추론의 반복적이고 불확실한 특성을 반영하는 의료용 LLM과의 효과적인 대화를 촉진하는 경로를 제시한다.

Large language models (LLMs) are increasingly used for diagnostic tasks in medicine. In clinical practice, the correct diagnosis can rarely be immediately inferred from the initial patient presentation alone. Rather, reaching a diagnosis often involves systematic history taking, during which clinicians reason over multiple potential conditions through iterative questioning to resolve uncertainty. This process requires considering differential diagnoses and actively excluding emergencies that demand immediate intervention. Yet, the ability of medical LLMs to generate informative follow-up questions and thus reason over differential diagnoses remains underexplored. Here, we introduce MedClarify, an AI agent for information-seeking that can generate follow-up questions for iterative reasoning to support diagnostic decision-making. Specifically, MedClarify computes a list of candidate diagnoses analogous to a differential diagnosis, and then proactively generates follow-up questions aimed at reducing diagnostic uncertainty. By selecting the question with the highest expected information gain, MedClarify enables targeted, uncertainty-aware reasoning to improve diagnostic performance. In our experiments, we first demonstrate the limitations of current LLMs in medical reasoning, which often yield multiple, similarly likely diagnoses, especially when patient cases are incomplete or relevant information for diagnosis is missing. We then show that our information-theoretic reasoning approach can generate effective follow-up questioning and thereby reduces diagnostic errors by ~27 percentage points (p.p.) compared to a standard single-shot LLM baseline. Altogether, MedClarify offers a path to improve medical LLMs through agentic information-seeking and to thus promote effective dialogues with medical LLMs that reflect the iterative and uncertain nature of real-world clinical reasoning.