CARE: 의료 요약에 대한 안전성 강화 레이어

CARE: A Conformal Safety Layer for Medical Summarization

대규모 언어 모델(LLM)은 점점 더 많이 의료 요약 작업에 사용되고 있지만, 이러한 모델의 출력은 의학적으로 중요한 정보를 누락하거나 근거 없는 주장을 포함할 수 있습니다. 기존의 오류 검출 방법은 휴리스틱하거나 보정되지 않은 점수를 제공하며, 누락된 오류에 대한 형식적인 제어를 제공하지 못하고 안전성과 임상의의 검토 부담 간의 균형을 맞추는 원칙적인 방법을 제시하지 않습니다. 본 논문에서는 Conformal Assessment for Risk Evaluation (CARE)라는 사후 처리 방식이며 모델에 독립적인 안전성 레이어를 소개합니다. CARE는 적응적 위험 제어(conformal risk control)를 사용하여, 어떠한 LLM으로부터 생성된 요약본에도 재학습 없이 보정된 누락 및 환각 표시 플래그를 추가합니다. CARE는 두 가지 제어기를 통해 유한 샘플 크기의 분포에 독립적인 보증을 제공합니다. 첫째, 환각 제어기는 문서 내에서 미표시된 환각 문장이 포함될 확률을 제한하고, 둘째, 누락 제어기는 검토 대상이 되지 않은 중요한 정보의 누락 비율에 대한 기댓값을 제한합니다. 환각 감지 방식과 달리, 누락은 원문 문장의 중요도와 요약본에서 해당 문장이 얼마나 다루어졌는지에 모두 의존합니다. 하나의 측면만 보정하면 목표 위험 한도를 위반할 수 있으며, 주변 분포 분해는 유효하지만 지나치게 보수적입니다. CARE는 전체 $(τ,γ)$ 임계값 공간을 공동으로 보정함으로써 형식적인 보증을 유지하면서 다른 보정된 기본 방식보다 최대 5배 적은 문장을 표시합니다. 다섯 가지 의료 요약 작업에서 CARE는 100개의 교차 검증 세트를 사용하여 $α = 0.15$의 목표 위험 한도를 95%의 신뢰도로 만족시키며, 각 도메인당 약 100개의 레이블이 지정된 문서만 사용했습니다. 예비 임상의 연구(75개 문서 검토)에서 보정된 플래그는 평균적으로 누락 감지율을 28.6%p 향상시켰습니다. 이러한 결과는 LLM 지원 의료 요약에 대한 문장 수준의 안전성 보증이 가능하며, 잔여 위험과 검토 노력을 균형 있게 조절할 수 있는 메커니즘을 제공한다는 것을 보여줍니다.

Large language models (LLMs) are increasingly used for medical summarization, but their outputs can omit medically important information and introduce unsupported claims. Existing error-detection methods produce heuristic or uncalibrated scores, providing no formal control over missed errors and no principled way to trade off safety against clinician review burden. We introduce Conformal Assessment for Risk Evaluation (CARE), a post-hoc, model-agnostic safety layer that uses conformal risk control to overlay calibrated omission and hallucination flags onto summaries from any LLM without retraining. CARE provides finite-sample, distribution-free guarantees through two controllers: a hallucination controller that bounds the probability of a document containing any unflagged hallucinated sentence, and an omission controller that bounds the expected fraction of important omissions not surfaced for review. Unlike hallucination detection, omissions depend jointly on whether a source sentence is important and whether it is covered by the summary. We show that calibrating only one dimension can violate the target risk bound, while marginal decompositions remain valid but overly conservative. By jointly calibrating over the full $(τ,γ)$ threshold space, CARE preserves formal guarantees while surfacing up to 5$\times$ fewer sentences than alternative calibrated baselines. Across five medical summarization tasks, CARE satisfies the target risk bound at $α= 0.15$ with 95% confidence across 100 calibration/test resplits, using only ~100 labeled documents per domain. In a preliminary clinician study (75 document reviews), calibrated flags improved omission detection by 28.6 percentage points on average. These results show that sentence-level safety guarantees are feasible for LLM-assisted medical summarization and offer a tunable mechanism for balancing residual risk and review effort.