신뢰할 수 있는 로봇 지능을 향하여: 시스템 프레임워크 및 등급별 신뢰성 수준

Towards Trustworthy Embodied Intelligence: A Systems Framework and Graded Trustworthiness Levels

로봇 지능은 학습된 인지 능력과 의사 결정을 실시간 계산, 제어 및 물리적 상호 작용과 통합합니다. 실패가 즉각적인 물리적 또는 운영상의 피해를 초래할 수 있으므로, 단순히 작업 완료만으로는 신뢰성을 확립할 수 없습니다. 우리는 신뢰할 수 있는 로봇 지능을 환경 및 시스템 변화 속에서 지정된 작업을 안정적으로 수행하고 위험을 허용 가능한 수준으로 유지하는 지속적인 능력이라고 정의합니다. 이를 '지속적인 안전 성공'이라고 명명했습니다. 이 목표를 지원하는 메커니즘은 네 개의 상호 의존적인 계층으로 구성됩니다. 모델 계층은 보정된 불확실성과 명시적인 안전 선호를 갖춘 작업 수행 능력을 가진 행동 제안을 생성합니다. 시스템 계층은 통합 센서, 계산, 제어, 하드웨어 보호 장치, 오류 격리 및 대체 메커니즘을 통해 권한 부여된 작업을 안정적으로 실행합니다. 증거 계층은 평가, 검증, 타당성 확인, 추적 가능성 및 체계적인 안전 보장 논리를 통해 제한적인 주장을 뒷받침합니다. 배포 계층은 런타임 모니터링, 권한 관리, 개입, 사고 대응 및 제어된 업데이트를 통해 주장 유효성을 유지합니다. 가정과 오류는 이러한 계층 전체로 전파되므로, 모델 능력, 독립적인 안전 장치 또는 벤치마크 성능만으로는 전체적인 신뢰성을 확립할 수 없습니다. 로봇 인공 지능, 로봇 공학, 제어, 안정적인 컴퓨팅, 분산 시스템 및 자율 주행 기술을 바탕으로, 우리는 비규범적인 신뢰성 수준의 계층 구조를 추가로 제안합니다. 이 계층 구조는 작업 수행 능력, 안전, 시스템 보장, 운영 거버넌스 및 관련 증거에 대한 제한적인 배포 주장의 강도를 평가하여, 제한적인 배포, 비교 평가, 연구 우선순위 결정 및 향후 표준화를 위한 기반을 제공합니다.

Embodied intelligence integrates learned perception and decision making with real-time computation, control, and physical interaction. Because failures can cause immediate physical or operational harm, task completion alone does not establish trustworthiness. We define trustworthy embodied intelligence as the sustained capacity to execute specified tasks reliably under environmental and system variation while maintaining risk within acceptable bounds. We term this objective sustained safe success. Its supporting mechanisms are organized into four interdependent layers. The model layer generates task-competent action proposals with calibrated uncertainty and explicit safety preferences. The system layer realizes authorized actions dependably through integrated sensing, computation, control, hardware safeguards, fault containment, and fallback. The evidence layer substantiates bounded claims through evaluation, verification, validation, traceability, and structured assurance arguments. The deployment layer maintains claim validity through runtime monitoring, authority management, intervention, incident response, and controlled updates. Because assumptions and failures propagate across these layers, neither model capability, isolated safeguards, nor benchmark performance alone can establish end-to-end trustworthiness. Drawing on embodied AI, robotics, control, dependable computing, distributed systems, and autonomous driving, we further propose a non-normative hierarchy of trustworthiness levels. This hierarchy grades the strength of bounded deployment claims across task capability, safety, system assurance, operational governance, and supporting evidence, providing a basis for bounded deployment, comparative evaluation, research prioritization, and future standardization.