사고 주체에서 사회로: 계층적 자율 진화 모델의 인공지능 에이전트 보안

From Thinker to Society: Security in Hierarchical Autonomy Evolution of AI Agents

인공지능(AI) 에이전트는 대규모 언어 모델(LLM)의 추론 능력을 바탕으로, 단순한 예측 도구에서 자율적인 의사 결정과 환경 상호 작용이 가능한 적극적인 존재로 진화했습니다. 그러나 이러한 진화는 기존 프레임워크로는 해결할 수 없는 중요한 보안 취약점을 야기했습니다. 본 연구에서는 계층적 자율 진화(HAE) 프레임워크를 통해 에이전트 보안을 세 가지 계층으로 구성합니다. 인지 자율(L1)은 내부 추론의 무결성을 목표로 하며, 실행 자율(L2)은 도구를 활용한 환경 상호 작용을 다루고, 집단 자율(L3)은 다중 에이전트 생태계에서의 체계적 위험을 해결합니다. 본 연구에서는 인지 조작, 물리적 환경 교란, 다중 에이전트 체계적 실패를 포함하는 위협 분류 체계를 제시하고, 기존 방어 기법을 평가하며 주요 연구 과제를 식별합니다. 연구 결과는 신뢰할 수 있는 AI 에이전트 시스템을 위한 다층적, 자율 인식 방어 아키텍처 개발에 기여하고자 합니다.

Artificial Intelligence (AI) agents have evolved from passive predictive tools into active entities capable of autonomous decision-making and environmental interaction, driven by the reasoning capabilities of Large Language Models (LLMs). However, this evolution has introduced critical security vulnerabilities that existing frameworks fail to address. The Hierarchical Autonomy Evolution (HAE) framework organizes agent security into three tiers: Cognitive Autonomy (L1) targets internal reasoning integrity; Execution Autonomy (L2) covers tool-mediated environmental interaction; Collective Autonomy (L3) addresses systemic risks in multi-agent ecosystems. We present a taxonomy of threats spanning cognitive manipulation, physical environment disruption, and multi-agent systemic failures, and evaluate existing defenses while identifying key research gaps. The findings aim to guide the development of multilayered, autonomy-aware defense architectures for trustworthy AI agent systems.