멀티에이전트 제어에 대한 준분산 접근 방식

A Semi-Decentralized Approach to Multiagent Control

본 논문에서는 통신 불확실성이 존재하는 환경에서 협력 에이전트의 준분산 제어를 위한 표현력 있는 프레임워크와 알고리즘을 소개합니다. 준마르코프 제어는 에이전트 행동에 대한 시간 분포를 허용하는 반면, 본 논문에서 '준분산'이라고 칭하는 준마르코프 통신은 에이전트가 자신의 기록에 저장할 수 있는 행동 및 관찰에 대한 시간 분포를 제공합니다. 우리는 준분산을 부분 관측 마르코프 결정 과정(POMDP)으로 확장합니다. 결과적으로 생성되는 SDec-POMDP는 분산 및 멀티에이전트 POMDP를 통합하며, 기존의 명시적인 통신 메커니즘을 포괄합니다. 우리는 최적의 SDec-POMDP 정책을 생성하는 정확한 알고리즘인 재귀적 작은 단계 준분산 A* (RS-SDA*)를 제시합니다. RS-SDA*는 여러 표준 벤치마크의 준분산 버전 및 해상 의료 후송 시나리오에 대해 평가되었습니다. 본 논문은 준분산의 관점에서 다양한 멀티에이전트 통신 문제를 탐구하기 위한 명확한 이론적 기반을 제공합니다.

We introduce an expressive framework and algorithms for the semi-decentralized control of cooperative agents in environments with communication uncertainty. Whereas semi-Markov control admits a distribution over time for agent actions, semi-Markov communication, or what we refer to as semi-decentralization, gives a distribution over time for what actions and observations agents can store in their histories. We extend semi-decentralization to the partially observable Markov decision process (POMDP). The resulting SDec-POMDP unifies decentralized and multiagent POMDPs and several existing explicit communication mechanisms. We present recursive small-step semi-decentralized A* (RS-SDA*), an exact algorithm for generating optimal SDec-POMDP policies. RS-SDA* is evaluated on semi-decentralized versions of several standard benchmarks and a maritime medical evacuation scenario. This paper provides a well-defined theoretical foundation for exploring many classes of multiagent communication problems through the lens of semi-decentralization.