의사는 여전히 당신을 진료합니다: 의료 분야에서 자율 AI의 구조적 한계에 대한 고찰

The Doctor Will (Still) See You Now: On the Structural Limits of Agentic AI in Healthcare

의료 분야 전반에 걸쳐, 자율적인 인공지능(AI) 시스템은 자율적인 작동 능력을 갖춘 것으로 홍보되고 있지만, 실제로는 안전, 규제 및 책임 제약으로 인해 고위험 환경에서 자율적인 임상적 판단이 실현 불가능하여 거의 완전한 인간의 감독 하에 운영되고 있습니다. 시장의 열광적인 반응은 의료 분야에 혁신을 가져올 수 있다는 희망을 제시하지만, 이러한 시스템을 형성하는 개념적 가정과 책임 구조는 여전히 제대로 검토되지 않았습니다. 본 연구에서는 개발자, 구현자 및 최종 사용자를 포함한 20명의 이해관계자를 대상으로 한 질적 연구를 수행했습니다. 분석 결과, 세 가지 상호 강화되는 긴장이 확인되었습니다. 첫째, '자율'의 정의에 대한 개념적 분열, 둘째, 상업적인 약속이 실제 운영 현실을 초과하는 자율성 모순, 셋째, 기술적 벤치마크를 사회 기술적 안전보다 우선시하는 평가의 사각지대입니다. 본 연구는 자율 AI가 기술적 열망, 상업적 인센티브 및 임상적 제약이 교차하는 의미 구성의 장으로서 기능하며, 환자 안전과 책임 분배에 실질적인 영향을 미친다고 주장합니다.

Across healthcare, agentic artificial intelligence (AI) systems are increasingly promoted as capable of autonomous action, yet in practice they currently operate under near-total human oversight due to safety, regulatory, and liability constraints that make autonomous clinical reasoning infeasible in high-stakes environments. While market enthusiasm suggests a revolution in healthcare agents, the conceptual assumptions and accountability structures shaping these systems remain underexamined. We present a qualitative study based on interviews with 20 stakeholders, including developers, implementers, and end users. Our analysis identifies three mutually reinforcing tensions: conceptual fragmentation regarding the definition of `agentic'; an autonomy contradiction where commercial promises exceed operational reality; and an evaluation blind spot that prioritizes technical benchmarks over sociotechnical safety. We argue that agentic {AI} functions as a site of contested meaning-making where technical aspirations, commercial incentives, and clinical constraints intersect, carrying material consequences for patient safety and the distribution of blame.