보상 적응형 반복 탐색: NHL26 자동 게임 테스트 사례 연구

Reward-Adaptive Iterative Discovery: A Case Study on Automated Game Testing for NHL26

테스팅은 게임 산업에서 중요한 부분으로, 개발 예산과 인력의 상당 부분을 차지합니다. 본 논문에서는 EA SPORTS NHL 26의 개발 버전에서 인간 테스터가 골리 AI의 행동적 취약점을 테스트하는 사례를 소개합니다. 개발 단계에서 게임이나 AI 동작이 변경될 때마다 골리 AI를 재테스트하는 노력을 줄이기 위해, 우리는 반복적인 강화 학습(RL) 방식을 사용하여 취약점을 자동으로 발견하는 새로운 방법인 보상 적응형 반복 탐색 (RAID)을 제안합니다. 기존 방식은 이미 성공적으로 취약점을 찾을 수 있지만, RL 알고리즘은 종종 특정 솔루션에 과적합되는 경향이 있습니다. 우리는 기존의 RL 알고리즘에 간단한 확장을 추가하여 다양한 고품질 솔루션을 찾도록 합니다. 이번 접근 방식을 처음 적용했을 때, 단일 실험에서 인간 테스터가 수 시간 동안의 수동 테스트를 통해 발견한 것과 유사한 품질의 6가지 하키 골 득점 취약점 전략을 발견했습니다.

Testing is a major effort for the gaming industry, requiring a significant part of development budget and people power. We present a case study on a development version of the ice hockey game EA SPORTS NHL 26, for which human playtesters test the goalie AI for behavioral exploits. To reduce the effort of re-testing the goalie AI after every game or behavior modification in the development phase, we propose Reward-Adaptive Iterative Discovery (RAID), a novel approach to automatically find exploits using an iterative Reinforcement Learning (RL) approach that trains a population of goal scoring agents. While previous approaches can already successfully find exploits, RL algorithms tend to overfit to a single solution. We introduce a simple extension on top of existing RL algorithms, such that they find multiple diverse high-quality solutions. For our first deployment of this approach, within a single experiment we were able to find six hockey scoring exploit strategies that were qualitatively similar to those that playtesters had found in hours-long manual testing sessions.