정확도에 미치는 영향은 없을까? 성적 지향 및 종교적 정보가 LLM의 정확성과 신뢰도를 왜곡하는 방식: 의료 분야 질의응답에서의 분석

Calibrated? Not for Everyone: How Sexual Orientation and Religious Markers Distort LLM Accuracy and Confidence in Medical QA

대규모 언어 모델(LLM)을 안전하게 임상 환경에 적용하기 위해서는 높은 정확도뿐만 아니라, 모델이 적절한 경우 의료 전문가에게 권한을 넘겨줄 수 있도록 견고한 불확실성 추정 기능이 필수적입니다. 본 연구는 환자의 사회적 특성(특히 성적 지향 및 종교적 소속)이 이러한 불확실성 신호와 모델 정확도를 어떻게 왜곡하는지 조사합니다. 2,364개의 의료 관련 질문과 그에 대한 반사실적 변형을 사용하여 9개의 범용 및 생물의학 LLM을 평가한 결과, 특정 개인 정보가 "교정 문제(calibration crisis)"를 야기한다는 것을 확인했습니다. "동성애" 관련 정보는 일관되게 모델 성능 저하를 초래하며, 복합적인 개인 정보는 예측 가능하지 않고 가산적이지 않은 방식으로 교정에 부정적인 영향을 미칩니다. 또한, 임상의가 검증한 사례 연구를 통해, 이러한 실패가 객관식 문제 형식이 아닌 자유형 생성 환경에서도 발생한다는 것을 확인했습니다. 본 연구 결과는 사회적 정체성 단서의 존재가 단순히 예측 결과를 변경하는 것이 아니라, 신뢰도 신호의 안정성에 영향을 미쳐 공정한 의료 제공과 신뢰도 기반의 임상 워크플로우에서 안전한 활용을 위협할 수 있음을 보여줍니다.

Safe clinical deployment of Large Language Models (LLMs) requires not only high accuracy but also robust uncertainty calibration to ensure models defer to clinicians when appropriate. Our paper investigates how social descriptors of a patient (specifically sexual orientation and religious affiliation) distort these uncertainty signals and model accuracy. Evaluating nine general-purpose and biomedical LLMs on 2,364 medical questions and their counterfactual variants, we demonstrate that identity markers cause a "calibration crisis". "Homosexual" markers consistently trigger performance drops, and intersectional identities produce idiosyncratic, non-additive harms to calibration. Moreover, a clinician-validated case study in an open-ended generation setting confirms that these failures are not an artifact of the multiple-choice format. Our results demonstrate that the presence of social identity cues does not merely shift predictions; it affects the reliability of confidence signals, posing a significant risk to equitable care and safe deployment in confidence-based clinical workflows.