Bench-MFG: 정적 평균장 게임 학습을 위한 벤치마크 스위트

Bench-MFG: A Benchmark Suite for Learning in Stationary Mean Field Games

평균장 게임(MFG)과 강화 학습(RL)의 융합은 대규모 다중 에이전트 시스템을 해결하기 위한 다양한 알고리즘 개발을 촉진해 왔습니다. 그러나 현재 이 분야는 표준화된 평가 프로토콜이 부족하여 연구자들은 종종 맞춤형, 분리된, 그리고 단순화된 환경에 의존하게 됩니다. 이러한 분산은 새로운 방법의 견고성, 일반화 능력 및 실패 모드를 평가하기 어렵게 만듭니다. 이러한 문제를 해결하기 위해, 우리는 명확성을 위해 이산 시간, 이산 공간, 정적 환경에 초점을 맞춘 평균장 게임(MFG)을 위한 포괄적인 벤치마크 스위트(Bench-MFG)를 제안합니다. 우리는 상호 작용이 없는 게임부터 잠재적 게임 및 동역학적으로 결합된 게임에 이르기까지 다양한 문제 클래스에 대한 분류 체계를 제시하고, 각 클래스에 대한 프로토타입 환경을 제공합니다. 또한, 엄격한 통계적 테스트를 용이하게 하기 위해 임의의 MFG 인스턴스를 생성하는 방법인 MF-Garnets를 제안합니다. 우리는 다양한 학습 알고리즘을 이러한 환경에서 벤치마킹하며, 특히, 탐용 최소화를 위한 새로운 블랙박스 접근 방식(MF-PSO)을 사용했습니다. 광범위한 실험 결과를 바탕으로, 향후 실험 비교를 표준화하기 위한 지침을 제시합니다. 코드: https://github.com/lorenzomagnino/Bench-MFG

The intersection of Mean Field Games (MFGs) and Reinforcement Learning (RL) has fostered a growing family of algorithms designed to solve large-scale multi-agent systems. However, the field currently lacks a standardized evaluation protocol, forcing researchers to rely on bespoke, isolated, and often simplistic environments. This fragmentation makes it difficult to assess the robustness, generalization, and failure modes of emerging methods. To address this gap, we propose a comprehensive benchmark suite for MFGs (Bench-MFG), focusing on the discrete-time, discrete-space, stationary setting for the sake of clarity. We introduce a taxonomy of problem classes, ranging from no-interaction and monotone games to potential and dynamics-coupled games, and provide prototypical environments for each. Furthermore, we propose MF-Garnets, a method for generating random MFG instances to facilitate rigorous statistical testing. We benchmark a variety of learning algorithms across these environments, including a novel black-box approach (MF-PSO) for exploitability minimization. Based on our extensive empirical results, we propose guidelines to standardize future experimental comparisons. Code available at \href{https://github.com/lorenzomagnino/Bench-MFG}{https://github.com/lorenzomagnino/Bench-MFG}.