협력하여 경쟁하기: 다중 에이전트 정복 게임에서의 전략적 조정

Cooperate to Compete: Strategic Coordination in Multi-Agent Conquest

언어 모델(LM) 기반 에이전트는 단기적인 협력을 통해 장기적인 경쟁 목표를 달성해야 하는 복합적인 환경(예: 다자간 정치)에서 아직 충분히 검증되지 않았습니다. 본 연구에서는 '협력하여 경쟁하기(C2C)'라는 다중 에이전트 환경을 소개합니다. 이 환경에서 플레이어는 비공개 협상을 진행하면서 동시에 자신이 설정한 비밀 목표를 가장 먼저 달성하기 위해 경쟁합니다. 플레이어는 비대칭적인 목표를 가지고 있으며, 협상은 구속력이 없습니다. 따라서 플레이어의 단기적인 이익이 일치하고 달라짐에 따라 동맹이 형성되고 파기될 수 있습니다. 우리는 AI만 사용하는 게임을 진행하고, 인간 플레이어와 AI 상대 간의 사용자 연구를 수행했습니다. 연구 결과, 인간과 AI의 협상 행동에 상당한 차이가 있는 것을 확인했습니다. 인간은 상대적으로 단순한 거래를 선호하며, LM 기반 에이전트에 비해 훨씬 신뢰성이 떨어지는 협력 파트너인 것으로 나타났습니다. 또한, 인간은 더 공격적인 협상 방식을 사용하며, 제안에 대한 반박 없이 거래를 수락하는 비율이 LM 기반 에이전트의 경우 67.6%인 반면, 인간의 경우 56.3%에 불과했습니다. 이러한 연구 결과를 바탕으로 에이전트의 협상 행동을 개선하기 위한 프롬프트를 설계하고, 승률을 22.2%에서 32.7%로 향상시켰습니다. 우리는 1,100여 개의 게임을 진행했으며, 16,000여 건의 비공개 대화(총 15.2백만 토큰)와 15만 건 이상의 플레이어 행동 데이터를 수집했습니다. 본 연구의 결과는 C2C를 실제 환경에 적용 가능한 LM 기반 에이전트를 연구하고 개발하기 위한 테스트 환경으로 확립하는 데 기여합니다. 게임, 코드, 데이터 세트는 https://negotiationgame.io/c2c 에서 확인할 수 있습니다.

Language Model (LM)-based agents remain largely untested in mixed-motive settings where agents must leverage short-term cooperation for long-term competitive goals (e.g., multi-party politics). We introduce Cooperate to Compete (C2C), a multi-agent environment where players can engage in private negotiations while competing to be the first to achieve their secret objective. Players have asymmetric objectives and negotiations are non-binding, allowing alliances to form and break as players' short-term interests align and diverge. We run AI only games and conduct a user study pitting human players against AI opponents. We identify significant differences between human and AI negotiation behaviors, finding that humans favor lower-complexity deals and are significantly less reliable partners compared to LM-based agents. We also find that humans are more aggressive negotiators, accepting deals without a counteroffer only 56.3% of the time compared to 67.6% for LM-based agents. Through targeted prompting inspired by these findings, we modify agents' negotiation behavior and improve win rates from 22.2% to 32.7%. We run over 1,100 games with over 16,000 private conversations totaling 15.2 million tokens and over 150,000 player actions. Our results establish C2C as a testbed for studying and building LM-based agents that can navigate the sophisticated coordination required for real-world deployments. The game, code, and dataset may be found at https://negotiationgame.io/c2c.