전략적 자원 할당을 통한 인센티브 기반 AI 안전: 스태클버그 보안 게임 관점

Incentive-Aware AI Safety via Strategic Resource Allocation: A Stackelberg Security Games Perspective

AI 시스템이 더욱 발전하고 자율적으로 작동함에 따라, 그 안전성과 신뢰성을 확보하려면 모델 수준의 정렬뿐만 아니라 AI의 개발 및 배포에 관련된 인간과 기관에 대한 전략적인 감독이 필요합니다. 기존의 안전 프레임워크는 대부분 정렬을 정적인 최적화 문제로 간주하며(예: 모델을 원하는 동작으로 조정), 데이터 수집, 모델 평가, 그리고 최종 배포 방식에 영향을 미치는 역동적이고 적대적인 인센티브를 간과합니다. 본 연구에서는 스태클버그 보안 게임(SSG)에 기반한 새로운 AI 안전 관점을 제시합니다. SSG는 불확실성 하에서 적대적인 자원 할당을 위한 게임 이론 모델의 한 종류입니다. AI 감독을 방어자(감사자, 평가자, 배포자)와 공격자(악의적인 행위자, 정렬되지 않은 기여자, 최악의 실패 모드) 간의 전략적 상호 작용으로 보고, SSG는 AI 수명 주기 전반에 걸쳐 인센티브 설계, 제한된 감독 능력, 그리고 적대적인 불확실성에 대한 통합적인 프레임워크를 제공합니다. 본 연구는 이 프레임워크가 (1) 데이터/피드백 오염 방지를 위한 학습 시간 감사, (2) 제한된 검토 자원 하에서의 사전 배포 평가, 그리고 (3) 적대적인 환경에서의 강력한 다중 모델 배포에 어떻게 활용될 수 있는지 보여줍니다. 이러한 통합은 알고리즘 정렬과 기관 감독 설계 간의 간극을 해소하며, 게임 이론 기반의 억지력이 AI 감독을 사전적이고, 위험에 민감하게 하며, 조작에 대한 회복력을 높일 수 있음을 강조합니다.

As AI systems grow more capable and autonomous, ensuring their safety and reliability requires not only model-level alignment but also strategic oversight of the humans and institutions involved in their development and deployment. Existing safety frameworks largely treat alignment as a static optimization problem (e.g., tuning models to desired behavior) while overlooking the dynamic, adversarial incentives that shape how data are collected, how models are evaluated, and how they are ultimately deployed. We propose a new perspective on AI safety grounded in Stackelberg Security Games (SSGs): a class of game-theoretic models designed for adversarial resource allocation under uncertainty. By viewing AI oversight as a strategic interaction between defenders (auditors, evaluators, and deployers) and attackers (malicious actors, misaligned contributors, or worst-case failure modes), SSGs provide a unifying framework for reasoning about incentive design, limited oversight capacity, and adversarial uncertainty across the AI lifecycle. We illustrate how this framework can inform (1) training-time auditing against data/feedback poisoning, (2) pre-deployment evaluation under constrained reviewer resources, and (3) robust multi-model deployment in adversarial environments. This synthesis bridges algorithmic alignment and institutional oversight design, highlighting how game-theoretic deterrence can make AI oversight proactive, risk-aware, and resilient to manipulation.