시드 간 교차 실행은 충분한가? 제로샷 협력 알고리즘의 견고성 평가: 구현 세부 사항에 대한 영향

Is Inter-Seed Cross-Play Enough? Evaluating the Robustness of Zero-Shot Coordination Algorithms to Implementation Details

실제 환경에서 배포되는 AI 에이전트는 이전에 만나지 못했던 인간 및 다른 AI 에이전트와 협력할 수 있어야 합니다. 제로샷 협력(ZSC) 알고리즘은 독립적으로 설계된 에이전트가 테스트 시점에 서로 협력할 수 있도록, 고수준 학습 규칙을 지정하여 이를 달성하는 것을 목표로 합니다. ZSC 알고리즘에 대한 엄격한 평가는 여전히 어렵습니다. 이상적으로는 제안된 각 알고리즘의 여러 독립적인 구현체를 사용해야 하며, 이는 동일한 사양을 해석하고 구현할 때 발생하는 다양성을 반영해야 합니다. 그러나 실제로 ZSC 알고리즘은 거의 항상 단일 구현체를 사용하여 평가되며, 이 구현체는 다양한 무작위 시드로 훈련됩니다. 일부 연구에서는 신경망 아키텍처를 추가적으로 변경하기도 합니다. 이러한 접근 방식은 사양의 모호성과 구현 세부 사항에 대한 견고성 문제를 야기합니다. 본 연구에서는 이러한 견고성에 대한 최초의 체계적인 평가를 제공합니다. 우리는 새로운 평가 방안인 '교차 구현 교차 실행'을 도입하여, 이전 연구에서 다중 에이전트 강화 학습(MARL) 알고리즘의 성능에 영향을 미치는 것으로 나타난 구현 세부 사항을 다양하게 변경하고, 인기 있는 ZSC 알고리즘인 Other-Play를 이 평가 방안으로 평가했습니다. 우리의 결과는 긍정적이며, Other-Play의 경우 표준적인 ZSC 평가는 보다 철저한 교차 구현 평가에 대한 합리적인 지표가 될 수 있음을 시사합니다.

AI agents deployed in real-world settings must be capable of coordinating with humans and other AI agents they have not encountered before. Zero-shot coordination (ZSC) algorithms aim to achieve this by specifying high-level learning rules such that independently engineered agents can coordinate with each other at test time. Rigorous evaluation of ZSC algorithms remains difficult: ideally, multiple independent implementations of each proposed algorithm must be used, reflecting the variation that arises when independent parties interpret and implement the same specification. In practice, however, ZSC algorithms have almost exclusively been evaluated using a single implementation trained across different random seeds, with only a handful of works additionally varying the neural network architecture. This leaves open questions about robustness to specification ambiguities and implementation details. In this work, we provide the first systematic evaluation of this robustness. We introduce a new evaluation scheme, cross-implementation cross-play, varying implementation details that prior work has shown to affect the performance of multi-agent reinforcement learning (MARL) algorithms, and we evaluate Other-Play, a popular ZSC algorithm, with this scheme. Our findings are encouraging and suggest that, for Other-Play, the standard ZSC evaluation is, in fact, a reasonable proxy for this more thorough cross-implementation evaluation.