신뢰할 수 있는 AI는 암묵적 지식을 외부화해야 한다: 인간-AI 협업 관점

Reliable AI Needs to Externalize Implicit Knowledge: A Human-AI Collaboration Perspective

본 논문은 신뢰성 있는 AI 시스템 개발을 위해서는 인간의 검증을 위한 인프라 구축이 필수적이라는 주장을 담고 있습니다. AI는 명시적 지식(논문, 문서, 구조화된 데이터베이스)뿐만 아니라 암묵적 지식(추론 패턴, 디버깅 프로세스, 중간 단계)으로부터 학습합니다. 그러나 문서화 비용이 인식되는 가치보다 높기 때문에 암묵적 지식은 외부화되지 않은 상태로 남아 있으며, AI는 이러한 암묵적 지식을 무분별하게 학습하여 유용한 패턴과 해로운 편향을 모두 습득합니다. 현재의 신뢰성 검증 방법은 명시적 지식을 소스에 기반하여 검증하는 데만 초점을 맞추고 있어 근본적인 간극이 존재합니다. AI의 가장 가치 있는 능력(추론, 판단, 직관)은 바로 우리가 검증할 수 없는 영역이기 때문입니다. 본 연구에서는 인간이 검토, 검증 및 승인할 수 있는 형태로 암묵적 지식을 외부화하는 구조화된 산출물인 '지식 객체(Knowledge Objects, KO)'를 제안합니다. KO는 검증 경제를 변화시킵니다. 이전에는 검증 비용이 너무 높아 불가능했던 검증이 가능해짐으로써, 축적된 인간의 검증을 통해 시간이 지남에 따라 신뢰성을 향상시킬 수 있습니다.

This position paper argues that reliable AI requires infrastructure for human validation of implicit knowledge. AI learns from both explicit knowledge (papers, documentation, structured databases) and implicit knowledge (reasoning patterns, debugging processes, intermediate steps). Implicit knowledge remains unexternalized because documentation cost exceeds perceived value -- yet AI learns from it indiscriminately, acquiring both beneficial patterns and harmful biases. Current reliability methods can only verify explicit knowledge against sources, creating a fundamental gap: the most valuable AI capabilities (reasoning, judgment, intuition) are precisely those we cannot verify. We propose Knowledge Objects (KOs) -- structured artifacts that externalize implicit knowledge into forms humans can inspect, verify, and endorse. KOs transform verification economics: what was previously too costly to verify becomes feasible, enabling accumulated human validation to improve reliability over time.