GT-HarmBench: 게임 이론의 관점을 통한 AI 안전성 위험 벤치마킹

GT-HarmBench: Benchmarking AI Safety Risks Through the Lens of Game Theory

최첨단 AI 시스템은 점점 더 발전하여 위험성이 높은 다중 에이전트 환경에 배포되고 있습니다. 그러나 기존의 AI 안전성 벤치마크는 주로 단일 에이전트만을 평가하고 있어, 조정 실패 및 갈등과 같은 다중 에이전트 환경의 위험은 제대로 파악되지 않고 있습니다. 본 연구에서는 죄수의 딜레마, 사슴 사냥, 치킨 게임 등 게임 이론적 구조를 포괄하는 2,009개의 고위험 시나리오로 구성된 벤치마크인 GT-HarmBench를 소개합니다. 해당 시나리오들은 MIT AI 위험 저장소(MIT AI Risk Repository)의 현실적인 AI 위험 맥락에서 도출되었습니다. 15개의 최첨단 모델을 대상으로 한 실험 결과, 에이전트가 사회적으로 유익한 행동을 선택하는 비율은 62%에 불과했으며 빈번하게 해로운 결과를 초래했습니다. 우리는 게임 이론에 기반한 프롬프트의 프레이밍과 순서에 대한 민감도를 측정하고, 실패를 유발하는 추론 패턴을 분석했습니다. 나아가 게임 이론적 개입이 사회적으로 유익한 결과를 최대 18%까지 향상시킬 수 있음을 보여줍니다. 우리의 연구 결과는 AI 시스템의 상당한 신뢰성 격차를 강조하며, 다중 에이전트 환경에서의 정렬(alignment) 연구를 위한 광범위하고 표준화된 테스트베드를 제공합니다. 벤치마크와 코드는 https://github.com/causalNLP/gt-harmbench 에서 확인할 수 있습니다.

Frontier AI systems are increasingly capable and deployed in high-stakes multi-agent environments. However, existing AI safety benchmarks largely evaluate single agents, leaving multi-agent risks such as coordination failure and conflict poorly understood. We introduce GT-HarmBench, a benchmark of 2,009 high-stakes scenarios spanning game-theoretic structures such as the Prisoner's Dilemma, Stag Hunt and Chicken. Scenarios are drawn from realistic AI risk contexts in the MIT AI Risk Repository. Across 15 frontier models, agents choose socially beneficial actions in only 62% of cases, frequently leading to harmful outcomes. We measure sensitivity to game-theoretic prompt framing and ordering, and analyze reasoning patterns driving failures. We further show that game-theoretic interventions improve socially beneficial outcomes by up to 18%. Our results highlight substantial reliability gaps and provide a broad standardized testbed for studying alignment in multi-agent environments. The benchmark and code are available at https://github.com/causalNLP/gt-harmbench.