가장 약한 고리가 전체를 결정한다: 인공지능 시스템 통합 감사에 대한 개괄적 검토

A Chain Is Only as Strong as Its Weakest Link: A Scoping Review of System Integration Audits in AI

인공지능(AI) 시스템이 다양한 인터페이스 및 애플리케이션과 점차적으로 통합됨에 따라, 모델 중심의 감사는 시스템 구성 요소 간 상호 작용 및 배포 환경에서 발생하는 위험을 해결하기에는 충분하지 않습니다. 시스템 통합은 항공우주와 같은 안전이 중요한 분야에서 소프트웨어 감사에 오랫동안 중요한 역할을 해왔습니다. 그러나 AI 감사에서의 역할은 아직 제대로 연구되지 않았습니다. 본 논문에서는 4,259개의 문서를 검토하여, 시스템 통합을 평가의 핵심 원칙으로 간주하는 AI 감사 사례(n = 58)에 대한 개괄적 검토를 제시합니다. 반성적인 주제 분석을 통해 이러한 사례의 구성 요소, 주체, 촉진 요인 및 제약 조건을 분석했습니다. 연구 결과는 아직 초기 단계이지만, 시스템 통합을 핵심 요소로 다루는 AI 감사 형태가 출현하고 있지만 여전히 단편화되어 있음을 보여줍니다. 기존에는 통합과 관련된 특정 위험에 대한 대책이 부족하며, 전통적인 감사 기대치를 충족하는 데에도 큰 격차가 존재합니다. 또한 필요한 정보 및 자원에 대한 접근성은 감사 설계에 상당한 영향을 미칩니다. 그럼에도 불구하고, 시스템 통합은 세 가지 범주(구성 요소 간, 시스템-환경 간, 다중 시스템)로 분류될 수 있으며, 각 범주는 위험 탐색, 위험 결정, 조정 및 절차적 정규성을 수행합니다. 다른 유형의 평가와 달리, 이러한 감사는 호환성, 완전성, 감독 등과 같은 시스템 통합에 특화된 품질을 평가합니다. 본 연구는 AI 커뮤니티가 시스템 통합을 AI 위험 해결을 위한 핵심 전략으로 우선시하고, 구성 요소 수준의 평가로는 파악할 수 없는 다양한 구성 요소, 환경 및 시스템에서의 실패를 포착할 수 있는 감사 방식을 개발해야 한다고 촉구합니다.

As AI systems become increasingly integrated into diverse interfaces and applications, model-centric audits are insufficient to address risks arising from interactions among system components and deployment environments. System integration has long been central to software audits in safety-critical domains such as aerospace. However, its role in AI auditing remains underexplored. Scanning through 4,259 documents, we present a scoping review of AI audits that treat system integration as a core tenet of evaluation (n = 58). Using reflexive thematic analysis, we analyze their elements, actors, enablers, and constraints. We find that the corpus represents an emerging yet still fragmented form of AI auditing: few existing measures target integration-specific risks; large gaps remain in meeting traditional audit expectations; and access to necessary information and resources significantly influences audit design. Nonetheless, integration can be categorized across three sites (inter-component, system-environment, and multi-system), each serving the functions of risk exploration, risk determination, coordination, and procedural regularity. Deviating from other types of evaluations, these audits assess qualities specific to system integration, including compatibility, completeness, and oversight. This review calls on the AI community to prioritize system integration as a core strategy for addressing AI risk, and to develop audit practices capable of capturing failures across components, environments, and systems beyond the reach of component-level evaluation.