인공 지식 에이전트의 신뢰 구축: 설계 방안

Architecting Trust in Artificial Epistemic Agents

최근 대규모 언어 모델은 지식 에이전트로서 기능하며, 이는 1) 자율적으로 지식 목표를 추구하고 2) 우리의 공유 지식 환경을 적극적으로 형성하는 존재입니다. 이들은 우리가 받는 정보를 선별하고, 종종 기존의 검색 기반 방법을 대체하며, 개인적인 조언뿐만 아니라 심층적인 전문 지식 조언을 제공하는 데 자주 사용됩니다. 이러한 기능 수행 방식, 특히 신뢰성이 있는지, 그리고 개인 및 집단적인 지식 규범에 적절하게 조정되었는지 여부는 우리가 내리는 선택에 매우 중요한 영향을 미칩니다. 우리는 지식 AI 에이전트가 지식 창출, 큐레이션 및 통합 과정에 미치는 잠재적인 영향, 특히 복잡한 다중 에이전트 상호 작용의 맥락에서, 새로운 정보적 상호 의존성을 야기하며, 이는 AI의 평가 및 거버넌스에 근본적인 변화를 요구한다고 주장합니다. 잘 조정된 시스템은 인간의 판단과 집단 의사 결정을 향상시킬 수 있지만, 잘못 정렬된 에이전트는 인지 능력 저하 및 지식 편향을 초래할 위험이 있으며, 따라서 이러한 모델을 인간의 규범에 맞추는 것은 매우 중요한 과제입니다. 인간과 AI의 유익한 지식 생태계를 구축하기 위해, 우리는 지식 AI 에이전트의 신뢰성을 구축하고 함양하는 데 중점을 둔 프레임워크를 제안합니다. 여기에는 AI 에이전트를 인간의 지식 목표에 맞추고, 주변의 사회-지식 기반 시설을 강화하는 것이 포함됩니다. 이러한 맥락에서 신뢰할 수 있는 AI 에이전트는 지식적 역량, 강력한 반증 가능성 및 지식적으로 덕스러운 행동을 보여야 하며, 이는 기술적 추적 시스템 및 인간의 회복력을 보호하도록 설계된 "지식 보호 구역"을 통해 뒷받침되어야 합니다. 이 규범적 로드맵은 향후 AI 시스템이 강력하고 포용적인 지식 생태계에서 신뢰할 수 있는 파트너 역할을 수행할 수 있도록 하는 방법을 제시합니다.

Large language models increasingly function as epistemic agents -- entities that can 1) autonomously pursue epistemic goals and 2) actively shape our shared knowledge environment. They curate the information we receive, often supplanting traditional search-based methods, and are frequently used to generate both personal and deeply specialized advice. How they perform these functions, including whether they are reliable and properly calibrated to both individual and collective epistemic norms, is therefore highly consequential for the choices we make. We argue that the potential impact of epistemic AI agents on practices of knowledge creation, curation and synthesis, particularly in the context of complex multi-agent interactions, creates new informational interdependencies that necessitate a fundamental shift in evaluation and governance of AI. While a well-calibrated ecosystem could augment human judgment and collective decision-making, poorly aligned agents risk causing cognitive deskilling and epistemic drift, making the calibration of these models to human norms a high-stakes necessity. To ensure a beneficial human-AI knowledge ecosystem, we propose a framework centered on building and cultivating the trustworthiness of epistemic AI agents; aligning AI these agents with human epistemic goals; and reinforcing the surrounding socio-epistemic infrastructure. In this context, trustworthy AI agents must demonstrate epistemic competence, robust falsifiability, and epistemically virtuous behaviors, supported by technical provenance systems and "knowledge sanctuaries" designed to protect human resilience. This normative roadmap provides a path toward ensuring that future AI systems act as reliable partners in a robust and inclusive knowledge ecosystem.