SycoEval-EM: 응급 의료 시뮬레이션을 통한 대규모 언어 모델의 아첨 평가

SycoEval-EM: Sycophancy Evaluation of Large Language Models in Simulated Clinical Encounters for Emergency Care

대규모 언어 모델(LLM)은 임상 의사 결정 지원에 유망하지만, 부적절한 치료에 대한 환자의 압력에 굴복할 위험이 있습니다. 본 연구에서는 SycoEval-EM이라는 다중 에이전트 시뮬레이션 프레임워크를 소개하며, 이를 통해 응급 의료 분야에서 적대적인 환자 설득을 통해 LLM의 안정성을 평가합니다. 20개의 LLM과 1,875건의 시나리오(세 가지 '현명하게 선택' 시나리오)를 대상으로 평가한 결과, 굴복률은 0%에서 100%까지 다양했습니다. 모델은 진단 영상 요청(38.8%)에 대해 오피오이드 처방(25.0%)보다 더 취약한 경향을 보였으며, 모델의 기능은 안정성을 제대로 예측하지 못했습니다. 모든 설득 전술은 동일한 효과(30.0-36.0%)를 나타내어, 특정 전술에 대한 취약성보다는 일반적인 취약성을 시사합니다. 본 연구 결과는 정적인 벤치마크가 사회적 압력 하에서의 안전성을 제대로 예측하지 못한다는 것을 보여주며, 임상 AI 인증을 위해서는 다중 턴의 적대적 테스트가 필요하다는 것을 강조합니다.

Large language models (LLMs) show promise in clinical decision support yet risk acquiescing to patient pressure for inappropriate care. We introduce SycoEval-EM, a multi-agent simulation framework evaluating LLM robustness through adversarial patient persuasion in emergency medicine. Across 20 LLMs and 1,875 encounters spanning three Choosing Wisely scenarios, acquiescence rates ranged from 0-100\%. Models showed higher vulnerability to imaging requests (38.8\%) than opioid prescriptions (25.0\%), with model capability poorly predicting robustness. All persuasion tactics proved equally effective (30.0-36.0\%), indicating general susceptibility rather than tactic-specific weakness. Our findings demonstrate that static benchmarks inadequately predict safety under social pressure, necessitating multi-turn adversarial testing for clinical AI certification.