가이드라인 기반 증거 누적을 통한 고위험 에이전트 검증

Guideline-Grounded Evidence Accumulation for High-Stakes Agent Verification

LLM 기반 에이전트가 임상 진단과 같은 고위험 의사 결정에 활용됨에 따라, 신뢰할 수 있는 배포를 위해 에이전트의 결정에 대한 신뢰성 있는 검증이 매우 중요해졌습니다. 그러나 기존 검증 시스템은 일반적으로 도메인 지식 부족과 제한적인 보정으로 인해 성능이 저하되는 경향이 있습니다. 이러한 문제를 해결하기 위해, 우리는 가이드라인 기반 증거 누적(Guideline-grounded Evidence Accumulation)을 활용한 에이전트 검증 프레임워크인 GLEAN을 개발했습니다. GLEAN은 전문가가 선별한 프로토콜을 활용하여, 경로 정보를 기반으로 잘 보정된 정확성 신호를 생성합니다. GLEAN은 에이전트의 단계별 동작이 도메인 가이드라인과 얼마나 일치하는지를 평가하고, 여러 가이드라인의 평가 결과를 집계하여 대체 특징(surrogate features)을 생성합니다. 이러한 특징들은 경로를 따라 누적되고, 베이지안 로지스틱 회귀를 사용하여 정확성 확률로 보정됩니다. 또한, 추정된 불확실성은 능동적 검증(active verification)을 트리거하여, 불확실한 경우에 대해 추가적인 증거를 수집합니다. GLEAN은 MIMIC-IV 데이터셋의 세 가지 질병에 대한 에이전트 기반 임상 진단을 통해 실험적으로 검증되었으며, AUROC에서 12%, Brier 점수 감소에서 50% 향상을 보여주어, 판별력과 보정 측면에서 모두 효과적임을 확인했습니다. 또한, 임상의를 대상으로 한 연구에서 GLEAN의 실용적인 유용성이 인정되었습니다.

As LLM-powered agents have been used for high-stakes decision-making, such as clinical diagnosis, it becomes critical to develop reliable verification of their decisions to facilitate trustworthy deployment. Yet, existing verifiers usually underperform owing to a lack of domain knowledge and limited calibration. To address this, we establish GLEAN, an agent verification framework with Guideline-grounded Evidence Accumulation that compiles expert-curated protocols into trajectory-informed, well-calibrated correctness signals. GLEAN evaluates the step-wise alignment with domain guidelines and aggregates multi-guideline ratings into surrogate features, which are accumulated along the trajectory and calibrated into correctness probabilities using Bayesian logistic regression. Moreover, the estimated uncertainty triggers active verification, which selectively collects additional evidence for uncertain cases via expanding guideline coverage and performing differential checks. We empirically validate GLEAN with agentic clinical diagnosis across three diseases from the MIMIC-IV dataset, surpassing the best baseline by 12% in AUROC and 50% in Brier score reduction, which confirms the effectiveness in both discrimination and calibration. In addition, the expert study with clinicians recognizes GLEAN's utility in practice.