그래폰 기반 평균장 샘플링을 통한 협력적 이종 다중 에이전트 강화 학습

Graphon Mean-Field Subsampling for Cooperative Heterogeneous Multi-Agent Reinforcement Learning

다중 에이전트 강화 학습(MARL)에서, 상호 작용하는 에이전트의 개수가 증가함에 따라 공동 상태-행동 공간의 크기는 지수적으로 증가하며, 이는 주요 난제로 작용합니다. 평균장 방법은 에이전트 간의 상호 작용을 집계하여 이러한 부담을 완화하지만, 이러한 접근 방식은 균일한 상호 작용을 가정합니다. 최근의 그래폰 기반 프레임워크는 이질성을 포착하지만, 에이전트 수가 증가함에 따라 계산 비용이 매우 높습니다. 따라서 본 연구에서는 확장 가능한 협력적 MARL을 위한 이종 에이전트 상호 작용을 처리하는 $ extbf{G}$raphon $ extbf{M}$ean-$ extbf{F}$ield $ extbf{S}$ubsampling 프레임워크인 $ exttt{GMFS}$를 제안합니다. $ exttt{GMFS}$는 상호 작용 강도에 따라 $κ$개의 에이전트를 샘플링하여 그래폰 가중 평균장을 근사하고, 샘플 복잡도가 $ ext{poly}(κ)$이고 최적성 간격이 $O(1/ ext{sqrt}(κ))$인 정책을 학습합니다. 로봇 협응 분야의 수치 시뮬레이션을 통해 본 연구의 이론적 결과를 검증하였으며, $ exttt{GMFS}$가 거의 최적의 성능을 달성함을 확인했습니다.

Coordinating large populations of interacting agents is a central challenge in multi-agent reinforcement learning (MARL), where the size of the joint state-action space scales exponentially with the number of agents. Mean-field methods alleviate this burden by aggregating agent interactions, but these approaches assume homogeneous interactions. Recent graphon-based frameworks capture heterogeneity, but are computationally expensive as the number of agents grows. Therefore, we introduce $\texttt{GMFS}$, a $\textbf{G}$raphon $\textbf{M}$ean-$\textbf{F}$ield $\textbf{S}$ubsampling framework for scalable cooperative MARL with heterogeneous agent interactions. By subsampling $κ$ agents according to interaction strength, we approximate the graphon-weighted mean-field and learn a policy with sample complexity $\mathrm{poly}(κ)$ and optimality gap $O(1/\sqrtκ)$. We verify our theory with numerical simulations in robotic coordination, showing that $\texttt{GMFS}$ achieves near-optimal performance.