인간 중심 AI는 최소 유효 수준의 인간 이해를 필요로 한다

Position: Human-Centric AI Requires a Minimum Viable Level of Human Understanding

AI 시스템은 점점 더 유창하고 정확하며 종단 간(end-to-end) 결과를 산출하고 있다. 시간이 지남에 따라 이는 사용자의 설명, 검증 또는 개입 능력을 약화시킨다. 우리는 이러한 괴리를 AI의 지원을 받은 성과는 향상되는 반면 사용자의 내부 모델은 퇴화하는 탈동조화 현상인 '역량-이해 격차(Capability-Comprehension Gap)'로 정의한다. 본 논문은 투명성, 사용자 통제, 리터러시 및 거버넌스에 대한 지배적인 접근 방식이 지속적인 AI 위임 하에서 감독을 위해 인간이 유지해야 할 근본적인 이해를 정의하지 못한다고 주장한다. 이를 공식화하기 위해 우리는 AI 지원 하에서 감독, 자율성, 책임 있는 참여를 보존하는 데 필요한 최소한의 이해를 '인지 무결성 임계값(Cognitive Integrity Threshold, CIT)'으로 정의한다. CIT는 완전한 추론 재구성을 요구하지 않으며 자동화를 제약하지도 않는다. 이는 감독이 요식 행위가 되고 이의 제기가 불가능해지는 임계점을 식별한다. 우리는 (i) 검증 역량, (ii) 이해 보존적 상호작용, (iii) 거버넌스를 위한 제도적 발판이라는 세 가지 기능적 차원을 통해 CIT를 구체화한다. 이는 책임이 중대한 환경에서 인간-AI 상호작용을 인지적 지속가능성에 맞추는 설계 및 거버넌스 어젠다를 제시한다.

AI systems increasingly produce fluent, correct, end-to-end outcomes. Over time, this erodes users' ability to explain, verify, or intervene. We define this divergence as the Capability-Comprehension Gap: a decoupling where assisted performance improves while users' internal models deteriorate. This paper argues that prevailing approaches to transparency, user control, literacy, and governance do not define the foundational understanding humans must retain for oversight under sustained AI delegation. To formalize this, we define the Cognitive Integrity Threshold (CIT) as the minimum comprehension required to preserve oversight, autonomy, and accountable participation under AI assistance. CIT does not require full reasoning reconstruction, nor does it constrain automation. It identifies the threshold beyond which oversight becomes procedural and contestability fails. We operatinalize CIT through three functional dimensions: (i) verification capacity, (ii) comprehension-preserving interaction, and (iii) institutional scaffolds for governance. This motivates a design and governance agenda that aligns human-AI interaction with cognitive sustainability in responsibility-critical settings.