체화된 AI 보안을 무너뜨리는 것은 무엇인가: LLM 취약점, CPS 결함, 아니면 다른 무언가인가?

What Breaks Embodied AI Security:LLM Vulnerabilities, CPS Flaws,or Something Else?

체화된 AI 시스템(예: 자율주행 차량, 서비스 로봇, LLM 기반 상호작용 에이전트)은 통제된 환경을 벗어나 안전이 필수적인 현실 세계로 빠르게 도입되고 있다. 물리적 실체가 없는 AI와 달리, 체화된 지능의 실패는 돌이킬 수 없는 물리적 결과를 초래하며 보안, 안전성, 신뢰성에 대한 근본적인 질문을 제기한다. 기존 연구는 주로 대형 언어 모델(LLM)의 취약점이나 고전적인 사이버-물리 시스템(CPS) 실패의 관점에서 체화된 AI를 분석하지만, 본 서베이 논문은 현대의 체화된 시스템에서 관찰되는 많은 고장 사례를 설명하기에 이러한 관점들이 개별적으로는 불충분하다고 주장한다. 우리는 상당수의 실패가 고립된 모델의 결함이나 전통적인 CPS 공격보다는 체화로 인해 유발된 시스템 수준의 불일치에서 비롯된다고 본다. 구체적으로, 우리는 체화된 AI의 보안 확보가 근본적으로 더 어려운 이유를 설명하는 네 가지 핵심 통찰을 제시한다: (i) 언어 수준의 추론은 기하학, 동역학, 접촉 제약 등을 추상화하여 배제하므로 의미론적 정확성이 곧 물리적 안전성을 의미하지는 않는다; (ii) 비선형 동역학과 상태의 불확실성으로 인해, 동일한 행동이라도 물리적 상태에 따라 극적으로 다른 결과를 초래할 수 있다; (iii) 작은 오류가 긴밀하게 결합된 인식-결정-행동 루프를 따라 전파되고 증폭된다; (iv) 안전성은 시간이나 시스템 계층에 걸쳐 구성적(compositional)이지 않으므로, 국지적으로 안전한 결정이 누적되어 전반적으로 위험한 행동으로 이어질 수 있다. 이러한 통찰은 체화된 AI의 보안을 확보하기 위해서는 구성 요소 수준의 방어를 넘어 물리적 위험, 불확실성, 실패 전파에 대한 시스템 수준의 추론으로 나아가야 함을 시사한다.

Embodied AI systems (e.g., autonomous vehicles, service robots, and LLM-driven interactive agents) are rapidly transitioning from controlled environments to safety critical real-world deployments. Unlike disembodied AI, failures in embodied intelligence lead to irreversible physical consequences, raising fundamental questions about security, safety, and reliability. While existing research predominantly analyzes embodied AI through the lenses of Large Language Model (LLM) vulnerabilities or classical Cyber-Physical System (CPS) failures, this survey argues that these perspectives are individually insufficient to explain many observed breakdowns in modern embodied systems. We posit that a significant class of failures arises from embodiment-induced system-level mismatches, rather than from isolated model flaws or traditional CPS attacks. Specifically, we identify four core insights that explain why embodied AI is fundamentally harder to secure: (i) semantic correctness does not imply physical safety, as language-level reasoning abstracts away geometry, dynamics, and contact constraints; (ii) identical actions can lead to drastically different outcomes across physical states due to nonlinear dynamics and state uncertainty; (iii) small errors propagate and amplify across tightly coupled perception-decision-action loops; and (iv) safety is not compositional across time or system layers, enabling locally safe decisions to accumulate into globally unsafe behavior. These insights suggest that securing embodied AI requires moving beyond component-level defenses toward system-level reasoning about physical risk, uncertainty, and failure propagation.