원자 단위 사실 확인이 종양학 의사 결정 지원을 위한 대규모 언어 모델 추천에 대한 임상의의 신뢰도를 높이는 효과: 무작위 대조 연구

Atomic Fact-Checking Increases Clinician Trust in Large Language Model Recommendations for Oncology Decision Support: A Randomized Controlled Trial

연구 질문: 인공지능 치료 추천을 개별적으로 검증 가능한 정보로 분해하고, 해당 정보가 원본 지침 문서와 연결되어 있는 '원자 단위 사실 확인'이, 기존의 설명 방식에 비해 임상의의 신뢰도를 높이는가? 연구 결과: 356명의 임상의를 대상으로 진행된 무작위 대조 연구에서, 7,476건의 신뢰도 평가를 통해 원자 단위 사실 확인은 신뢰도에 큰 영향을 미쳤습니다 (Cohen's d = 0.94). 이는 신뢰를 표명하는 임상의의 비율을 26.9%에서 66.5%로 증가시켰습니다. 기존의 투명성 메커니즘은 기준치 대비 개선 효과가 관찰되었으며, 그 정도는 0.25에서 0.50의 범위였습니다. 결론: 인공지능 추천을 개별적으로 검증 가능한 정보로 분해하고, 해당 정보가 원본 지침 문서와 연결하는 방식은, 중요한 임상 결정에서 기존의 설명 방식보다 임상의의 신뢰도를 현저하게 높이는 효과가 있습니다.

Question: Does atomic fact-checking, which decomposes AI treatment recommendations into individually verifiable claims linked to source guideline documents, increase clinician trust compared to traditional explainability approaches? Findings: In this randomized trial of 356 clinicians generating 7,476 trust ratings, atomic fact-checking produced a large effect on trust (Cohen's d = 0.94), increasing the proportion of clinicians expressing trust from 26.9% to 66.5%. Traditional transparency mechanisms showed a dose-response gradient of improvement over baseline (d = 0.25 to 0.50). Meaning: Decomposing AI recommendations into individually verifiable claims linked to source guidelines produces substantially higher clinician trust than traditional explainability approaches in high-stakes clinical decisions.