흉부 종양 진료 회의를 위한 다중 에이전트 시스템의 개발, 평가 및 적용

Development, Evaluation, and Deployment of a Multi-Agent System for Thoracic Tumor Board

종양 진료 회의는 다양한 분야의 전문가들이 모여 환자 치료에 대한 실질적인 권고 사항을 도출하고, 주요 영상 및 병리학 데이터를 실시간으로 검토하는 학술 회의입니다. 효율적이고 정확한 사례 토론을 위해서는 간결한 환자 사례 요약이 필요합니다. 본 연구에서는 스탠포드 흉부 종양 진료 회의에서 실시간으로 표시할 수 있는 환자 요약 정보를 생성하기 위한 수동 기반 AI 워크플로우를 개발했습니다. 이 수동적인 프로세스를 개선하기 위해, 우리는 여러 가지 자동화된 AI 차트 요약 방법을 개발하고, 의사의 표준 요약 및 사실 기반 평가 기준과 비교하여 평가했습니다. 본 연구에서는 이러한 비교 평가 결과를 보고하며, 최종 단계의 자동화된 AI 차트 요약 도구의 적용 및 적용 후 모니터링 결과를 제시합니다. 또한, 사실 기반 평가를 위한 LLM(Large Language Model)을 평가 기준으로 사용하는 방법을 검증했습니다. 본 연구는 AI 기반 워크플로우를 일상적인 임상 실무에 통합하는 한 가지 예시입니다.

Tumor boards are multidisciplinary conferences dedicated to producing actionable patient care recommendations with live review of primary radiology and pathology data. Succinct patient case summaries are needed to drive efficient and accurate case discussions. We developed a manual AI-based workflow to generate patient summaries to display live at the Stanford Thoracic Tumor board. To improve on this manually intensive process, we developed several automated AI chart summarization methods and evaluated them against physician gold standard summaries and fact-based scoring rubrics. We report these comparative evaluations as well as our deployment of the final state automated AI chart summarization tool along with post-deployment monitoring. We also validate the use of an LLM as a judge evaluation strategy for fact-based scoring. This work is an example of integrating AI-based workflows into routine clinical practice.