액체 에이전트 강화 학습

Fluid-Agent Reinforcement Learning

다중 에이전트 강화 학습(MARL)의 주요 초점은 환경에 내장된 고정된 수의 에이전트 간의 상호 작용을 연구하는 데 있었습니다. 그러나 실제 세계에서 에이전트의 수는 고정되어 있지 않으며 사전에 알려져 있지 않습니다. 또한, 에이전트는 다른 에이전트를 생성하기로 결정할 수 있습니다(예: 세포가 분열하거나 회사가 사업부를 분사할 수 있습니다). 본 논문에서는 에이전트가 다른 에이전트를 생성할 수 있도록 하는 프레임워크를 제안하며, 이를 '액체 에이전트 환경'이라고 부릅니다. 우리는 액체 에이전트 게임에 대한 게임 이론적 해법을 제시하고, 이 프레임워크 내에서 여러 MARL 알고리즘의 성능을 실증적으로 평가합니다. 우리의 실험에는 에이전트가 동적으로 생성될 수 있는 Predator-Prey 및 Level-Based Foraging과 같은 기존 벤치마크의 액체 변형이 포함되어 있으며, 또한 고정된 모집단 환경에서는 관찰할 수 없는 새로운 해결 전략을 보여주는 새로운 환경을 소개합니다. 우리는 이 프레임워크가 환경의 요구에 따라 크기를 동적으로 조정하는 에이전트 팀을 생성한다는 것을 보여줍니다.

The primary focus of multi-agent reinforcement learning (MARL) has been to study interactions among a fixed number of agents embedded in an environment. However, in the real world, the number of agents is neither fixed nor known a priori. Moreover, an agent can decide to create other agents (for example, a cell may divide, or a company may spin off a division). In this paper, we propose a framework that allows agents to create other agents; we call this a fluid-agent environment. We present game-theoretic solution concepts for fluid-agent games and empirically evaluate the performance of several MARL algorithms within this framework. Our experiments include fluid variants of established benchmarks such as Predator-Prey and Level-Based Foraging, where agents can dynamically spawn, as well as a new environment we introduce that highlights how fluidity can unlock novel solution strategies beyond those observed in fixed-population settings. We demonstrate that this framework yields agent teams that adjust their size dynamically to match environmental demands.