Prism: 다중 에이전트 강화 학습을 위한 스펙트럼 매개변수 공유

Prism: Spectral Parameter Sharing for Multi-Agent Reinforcement Learning

다중 에이전트 강화 학습(MARL)에서 매개변수 공유는 확장성을 향상시키는 핵심 전략이지만, 기존의 완전 공유 아키텍처는 종종 균일한 행동으로 이어지는 경향이 있습니다. 최근 연구에서는 클러스터링, 가지치기 또는 마스킹을 통해 다양성을 도입하려는 시도가 있었지만, 일반적으로 자원 효율성이 저하되는 문제가 발생합니다. 본 논문에서는 특이값 분해(SVD)를 통해 공유 네트워크를 스펙트럼 영역에서 표현함으로써 에이전트 간의 다양성을 유도하는 매개변수 공유 프레임워크인 Prism을 제안합니다. 모든 에이전트는 특이 벡터 방향을 공유하고, 각 에이전트는 서로 다른 특이값을 가진 스펙트럼 마스크를 학습합니다. 이러한 메커니즘은 에이전트 간의 다양성을 촉진하고 확장성을 유지합니다. 균일(LBF, SMACv2) 및 이질적(MaMuJoCo) 벤치마크에 대한 광범위한 실험 결과, Prism은 우수한 자원 효율성과 함께 경쟁력 있는 성능을 달성하는 것으로 나타났습니다.

Parameter sharing is a key strategy in multi-agent reinforcement learning (MARL) for improving scalability, yet conventional fully shared architectures often collapse into homogeneous behaviors. Recent methods introduce diversity through clustering, pruning, or masking, but typically compromise resource efficiency. We propose Prism, a parameter sharing framework that induces inter-agent diversity by representing shared networks in the spectral domain via singular value decomposition (SVD). All agents share the singular vector directions while learning distinct spectral masks on singular values. This mechanism encourages inter-agent diversity and preserves scalability. Extensive experiments on both homogeneous (LBF, SMACv2) and heterogeneous (MaMuJoCo) benchmarks show that Prism achieves competitive performance with superior resource efficiency.