대규모 언어 모델을 활용한 전문가 수준의 의료 질의응답을 향하여

Towards Expert-Level Medical Question Answering with Large Language Models

최근 인공지능(AI) 시스템은 바둑에서 단백질 접힘에 이르기까지 다양한 "거대 난제(grand challenges)"에서 획기적인 성과를 달성했습니다. 의학 지식을 검색하고 추론하여 의사와 대등한 수준으로 의료 질문에 답하는 능력은 오랫동안 그러한 거대 난제 중 하나로 간주되어 왔습니다. 대규모 언어 모델(LLM)은 의료 질의응답 분야의 상당한 진전을 촉진했습니다. Med-PaLM은 MedQA 데이터셋에서 67.2%의 점수를 기록하여 미국 의사 면허 시험(USMLE) 스타일의 질문에서 처음으로 "합격" 점수를 넘은 모델이 되었습니다. 그러나 이 연구와 기타 선행 연구들은 특히 모델의 답변을 임상의의 답변과 비교했을 때 여전히 상당한 개선의 여지가 있음을 시사했습니다. 이에 우리는 기본 LLM의 성능 향상(PaLM 2), 의료 도메인 미세 조정(finetuning), 그리고 새로운 앙상블 정제(ensemble refinement) 접근 방식을 포함한 프롬프팅 전략을 결합하여 이러한 격차를 해소하는 Med-PaLM 2를 소개합니다. Med-PaLM 2는 MedQA 데이터셋에서 최대 86.5%의 점수를 기록하여 Med-PaLM보다 19% 이상 성능을 향상시켰으며 새로운 최고 성능(state-of-the-art)을 달성했습니다. 또한 MedMCQA, PubMedQA 및 MMLU 임상 주제 데이터셋 전반에 걸쳐 최고 성능에 근접하거나 이를 능가하는 것을 확인했습니다. 우리는 임상 적용과 관련된 여러 평가 기준에 따라 장문형 질문에 대한 상세한 인간 평가를 수행했습니다. 1,066개의 소비자 의료 질문에 대한 쌍대 비교 순위 평가에서, 의사들은 임상적 유용성과 관련된 9가지 기준 중 8가지에서 의사가 작성한 답변보다 Med-PaLM 2의 답변을 선호했습니다(p < 0.001). 또한 LLM의 한계를 탐색하기 위해 새롭게 도입된 240개의 장문형 "적대적(adversarial)" 질문 데이터셋에서도 모든 평가 기준에서 Med-PaLM 대비 유의미한 개선이 관찰되었습니다(p < 0.001). 실제 환경에서 이러한 모델의 효용성을 검증하기 위해서는 추가 연구가 필요하지만, 이러한 결과는 의료 질의응답 분야에서 의사 수준의 성능을 향해 빠르게 발전하고 있음을 시사합니다.

Recent artificial intelligence (AI) systems have reached milestones in "grand challenges" ranging from Go to protein-folding. The capability to retrieve medical knowledge, reason over it, and answer medical questions comparably to physicians has long been viewed as one such grand challenge. Large language models (LLMs) have catalyzed significant progress in medical question answering; Med-PaLM was the first model to exceed a "passing" score in US Medical Licensing Examination (USMLE) style questions with a score of 67.2% on the MedQA dataset. However, this and other prior work suggested significant room for improvement, especially when models' answers were compared to clinicians' answers. Here we present Med-PaLM 2, which bridges these gaps by leveraging a combination of base LLM improvements (PaLM 2), medical domain finetuning, and prompting strategies including a novel ensemble refinement approach. Med-PaLM 2 scored up to 86.5% on the MedQA dataset, improving upon Med-PaLM by over 19% and setting a new state-of-the-art. We also observed performance approaching or exceeding state-of-the-art across MedMCQA, PubMedQA, and MMLU clinical topics datasets. We performed detailed human evaluations on long-form questions along multiple axes relevant to clinical applications. In pairwise comparative ranking of 1066 consumer medical questions, physicians preferred Med-PaLM 2 answers to those produced by physicians on eight of nine axes pertaining to clinical utility (p < 0.001). We also observed significant improvements compared to Med-PaLM on every evaluation axis (p < 0.001) on newly introduced datasets of 240 long-form "adversarial" questions to probe LLM limitations. While further studies are necessary to validate the efficacy of these models in real-world settings, these results highlight rapid progress towards physician-level performance in medical question answering.