의료 분야 응용에서 조기 진단 정보 전달 및 잠재적 오류(Silent Hallucination)를 완화하기 위한 능동적인 인공지능 기반 프레임워크

Agentic AI-based Framework for Mitigating Premature Diagnostic Handoff and Silent Hallucination in Healthcare Applications

최근 대규모 언어 모델(LLM)과 다중 에이전트 시스템의 발전은 의료 추론에 유망한 가능성을 보여주는 능동적인 인공지능(Agentic AI)의 부상으로 이어지고 있습니다. 그러나 개방형 대화형 에이전트는 여전히 두 가지 중요한 문제점에 취약합니다. 바로 조기 진단 정보 전달과 환자에게 전달되기 전에 감지되지 않을 수 있는 잠재적 오류입니다. 본 연구에서는 'LLM-as-a-judge' 라우팅 방식을 결정적인 제어 방식으로 대체하여 이러한 문제를 해결하는 다중 에이전트 프레임워크를 제안합니다. 이 프레임워크는 두 가지 안전 장치를 포함하고 있습니다. 첫째, 신경-기호 상태 추적 게이트(neuro-symbolic state-tracking gate)는 OLDCARTS 임상 프로토콜(발병 시점, 위치, 지속 시간, 특성, 악화/완화 요인, 방사 여부, 발생 시점 및 심각도)의 완전성을 보장하며, 필요한 모든 정보가 수집될 때까지 진단 단계를 차단합니다. 둘째, 불확실성 정량화(UQ) 게이트는 K=5개의 독립적인 진단 샘플에 대한 의미론적 엔트로피(H)를 계산하여, 전달되기 전에 일관되지 않은 결과를 식별하고 차단합니다. 저희는 llama-3.1-70b-instruct 모델로 구동되는 시뮬레이션 환자 에이전트를 사용하여 150개의 테스트 케이스에 대해 시스템을 평가했습니다. 전체 아키텍처는 49.3%의 진단 정확도를 달성했으며, 이는 제약 조건 없이 구성된 기본 모델보다 절대적으로 11.3% 포인트 향상된 수치입니다. 또한, OLDCARTS 정보의 완전성(σ)과 의미론적 엔트로피(H) 간에는 통계적으로 유의미한 음의 상관관계(r = -0.181, p < 0.05)가 나타나는 것을 확인했으며, 이는 체계적인 정보 수집이 진단 불확실성을 줄이는 것과 관련이 있음을 시사합니다.

Recent advances in Large Language Models (LLMs) and multi-agent systems have driven the rise of Agentic AI, showing promise for medical reasoning. However, open-ended conversational agents remain prone to two critical failure modes: premature diagnostic handoff and silent clinical hallucinations that may go undetected before reaching the patient. In this work, we propose a multi-agent framework that addresses both issues by replacing ``LLM-as-a-judge'' routing with deterministic orchestration constraints. The framework incorporates two safety mechanisms. First, a neuro-symbolic state-tracking gate enforces completeness of the OLDCARTS clinical protocol (Onset, Location, Duration, Character, Aggravating/Alleviating factors, Radiation, Timing, and Severity) by blocking diagnostic transitions until all required dimensions are collected. Second, an epistemic uncertainty quantification (UQ) gate computes semantic entropy (H) across K=5 independent diagnostic samples to identify and intercept divergent outputs before delivery. We evaluate the system using simulated patient agents powered by the llama-3.1-70b-instruct model on 150 test cases. The full architecture achieves 49.3% diagnostic precision, representing an absolute improvement of 11.3 percentage points over an unconstrained baseline. Additionally, we observe a statistically significant negative correlation (r = -0.181, p < 0.05) between OLDCARTS completeness (σ) and semantic entropy (H), suggesting that structured information gathering is associated with reduced diagnostic uncertainty.