생성형 AI의 인지적 신뢰성: 고위험 작업 환경에서의 정당한 의존을 위한 규범적 프레임워크

Epistemic Trustworthiness in Generative AI: A Normative Framework for Warranted Reliance in High-Stakes Workflows

생성형 AI 시스템은 점점 더 높은 수준의 전문적인 맥락에서 사용되고 있으며, 이러한 시스템의 결과물은 사용자들의 믿음, 추론 방식, 그리고 확정된 지식에 영향을 미칩니다. 이는 책임감 있는 AI를 위한 핵심 질문을 제기합니다: 어떤 조건에서 생성형 AI 출력에 대한 의존이 단순히 행동 유발적인 것이 아니라 인지적으로 정당화될 수 있을까요? 기존의 프레임워크는 주로 AI 출력의 정확성, 공정성, 설명 가능성, 안전성 또는 사용자 신뢰 여부를 평가합니다. 이러한 질문들은 여전히 중요하며, 각각은 정당한 의존에 기여할 수 있습니다. 그러나 이들은 명확하게 '정당한 의존'을 독립적인 평가 목표로 규정하지 않습니다. 즉, 사용자가 AI 출력을 자신의 추론 과정의 입력으로 받아들일 수 있도록 하는 조건들을 명시적으로 제시하지 않습니다. 우리는 이를 위해 '인지적 신뢰성'에 대한 분석이 필요하다고 주장합니다. 즉, 어떤 요소들이 시스템을 인지적으로 의존할 가치가 있는 존재로 만드는지를 규명해야 합니다. 우리는 역량과 사용자 지향성을 포함하는 철학적 신뢰 개념을 바탕으로, 세 가지 상호 보완적인 조건으로 구성된 규범적 프레임워크를 제시합니다. 첫째, 인지적 겸손은 시스템이 자신의 능력의 한계를 표현하고 전달하도록 요구합니다. 둘째, 인지적 접근성은 시스템이 사용자가 출력 내용을 맥락 속에서 검토하고 질문하며 비판할 수 있도록 해야 합니다. 셋째, 인지적 불공정에 대한 저항은 시스템이 사용자를 정당한 지식 주체로 인정하고 그들의 지식과 경험을 소외시키지 않도록 요구합니다. 법률 추론, 의료 추론 및 채용 분야의 실제 사례 분석을 통해, 인지적 겸손 부족, 인지적 접근성 부족, 그리고 인지적 불공정에 대한 저항 부족이 정확성, 공정성 및 사용 편의성과 같은 기존 측정 지표만으로는 해결할 수 없는 심각한 문제를 야기할 수 있음을 보여줍니다. 결론적으로, 우리는 생성형 AI 시스템이 출력의 정확성뿐만 아니라 인지적으로 정당화된 의존을 중심으로 설계되고 평가되어야 함을 강조하며, 이를 위한 설계 및 평가 시사점을 제시합니다.

Generative AI systems are increasingly deployed in high-stakes professional contexts, where their outputs shape what users believe, how they reason, and what they treat as settled. This raises a central question for responsible AI: under what conditions is reliance on generative AI outputs epistemically warranted rather than behaviourally induced? Existing frameworks largely ask whether AI outputs are accurate, fair, explainable, safe, or trusted by users. These questions remain necessary, and each can contribute to warranted reliance. However, they do not directly specify warranted reliance as a distinct evaluative target: the conditions under which users are justified in treating AI outputs as inputs into their own reasoning. We argue that this requires an account of epistemic trustworthiness: what makes a system epistemically worthy of reliance. Drawing on philosophical accounts of trustworthiness as competence and audience-orientation, we develop a constitutive normative framework comprising three jointly necessary and non-fungible conditions. First, epistemic humility requires systems to represent and communicate the limits of their competence. Second, epistemic access requires systems to enable users to inspect, question, and contest outputs in context. Third, resistance to epistemic injustice requires systems to recognise users as legitimate epistemic agents and avoid marginalising their knowledge and experience. Through real-world case analyses in legal reasoning, medical reasoning, and hiring, we show how failures of epistemic humility, epistemic access, and resistance to epistemic injustice can produce consequential harms that standard measures of accuracy, fairness, and usability do not address on their own. We conclude by outlining design and evaluation implications for GenAI systems organised around epistemically warranted reliance rather than output correctness alone.