의료 분야에서 신뢰할 수 있는 대규모 언어 모델 기반 에이전트 개발

Toward Trustworthy Large Language Model Agents in Healthcare

의료 예약 관리는 여전히 운영상의 주요 난제로, 이는 수동 조정, 단편적인 기존 시스템 및 높은 행정 비용으로 인해 발생합니다. 이러한 비효율성은 의료 제공자의 가용성을 제한하고 환자의 의료 접근성을 저하시킵니다. 본 논문에서는 대규모 언어 모델(LLM)의 함수 호출, 검색 증강 생성(RAG) 및 계층화된 결정적 안전 장치를 활용하여 의료 물류 자동화를 위한 안전을 최우선으로 하는 대화형 에이전트인 CareConnect를 소개합니다. 이 시스템은 예약, 수정, 취소 및 시설 정보 검색을 지원하기 위해 8가지의 도메인별 도구를 통합하며, 의학적 조언이나 진단을 금지하는 엄격한 범위 제한을 적용합니다. 안전에 중요한 상황은 비상 감지 및 의료 관련 요청 거부를 위한 결정적인 단축 메커니즘을 통해 처리됩니다. CareConnect는 680개의 작업 지향 시나리오를 포괄하는 종합적인 벤치마크를 사용하여 평가했으며, 여기에는 전체 워크플로우, 다중 회전 상호 작용 및 예외 사례가 포함됩니다. 실험 결과, 작업 완료율은 91.8%, 요청당 평균 응답 시간은 2.2초이며, 전용 안전 관련 평가 데이터 세트에서 안전 규정 준수율은 96.0%입니다. 또한, 예약당 운영 비용은 평균 0.0324달러로, 수동으로 수행하는 예약 시스템에 비해 상당한 비용 절감 효과를 보였습니다. 이러한 결과는 신중하게 설계되고 엄격하게 보호된 LLM 기반 에이전트가 안전성을 유지하면서 복잡한 의료 운영 워크플로우를 안정적으로 자동화하고 상당한 비용 효율성을 달성할 수 있음을 보여줍니다. 소스 코드 및 시스템 구현은 다음 주소에서 공개적으로 이용 가능합니다: https://github.com/Hadi-Hsn/CareConnect.

Healthcare appointment scheduling remains a persistent operational bottleneck, driven by manual coordination, fragmented legacy systems, and high administrative overhead. These inefficiencies constrain provider availability and degrade patient access to care. This paper presents CareConnect, a safety-first conversational agent for healthcare logistics automation that leverages large language model (LLM) function calling, retrieval-augmented generation (RAG), and layered deterministic safety guardrails. The system orchestrates eight domain-specific tools to support appointment booking, modification, cancellation, and facility information retrieval, while enforcing strict scope constraints that prohibit medical advice or diagnosis. Safety-critical situations are handled through deterministic short-circuit mechanisms for emergency detection and medical intent refusal. We evaluate CareConnect on a comprehensive benchmark of 680 task-oriented scenarios spanning end-to-end workflows, multi-turn interactions, and edge cases. Experimental results demonstrate a 91.8% task completion rate with a median per-request latency of 2.2 seconds, 96.0% safety compliance on the dedicated safety-critical evaluation subset, and an average operational cost of $0.0324 per appointment, yielding a significant cost reduction compared to manual human scheduling. These findings show that carefully scoped and rigorously safeguarded LLM-based agents can reliably automate complex healthcare operational workflows while maintaining safety guarantees and achieving substantial cost efficiency. The source code and system implementation are publicly available at https://github.com/Hadi-Hsn/CareConnect.