MADQRL: 다중 에이전트 환경을 위한 분산 양자 강화 학습 프레임워크

MADQRL: Distributed Quantum Reinforcement Learning Framework for Multi-Agent Environments

강화 학습(RL)은 실제 사용 사례에서 학습하는 가장 실용적인 방법 중 하나이며, 인간의 인지적 방법을 모방하여 인공지능 분야에서 널리 받아들여지는 전략입니다. 강화 학습에 사용되는 환경은 종종 고차원적이며, 기존의 강화 학습 알고리즘은 이러한 시스템에서 효과적으로 학습하기 위해 많은 계산 비용이 필요하고 어려움을 겪습니다. 최근 양자 컴퓨팅(QC) 이론의 실용적인 발전, 예를 들어 압축 인코딩, 향상된 표현 및 학습 알고리즘, 랜덤 샘플링 또는 양자 시스템의 고유한 확률적 특성은 이러한 과제를 해결하기 위한 새로운 방향을 제시합니다. 양자 강화 학습(QRL)은 최근 몇 년 동안 상당한 주목을 받고 있습니다. 그러나 현재 양자 하드웨어의 수준은 복잡한 다중 에이전트 환경을 처리하기에 충분하지 않습니다. 이러한 문제를 해결하기 위해, 우리는 여러 에이전트가 개별적으로 학습하고, 전체 훈련 부담을 개별 장치에 분산하는 분산형 QRL 프레임워크를 제안합니다. 우리의 방법은 분리된 행동 및 관찰 공간을 가진 환경에서 잘 작동하며, 합리적인 근사치를 통해 다른 시스템에도 확장될 수 있습니다. 우리는 제안된 방법을 협력 퐁(cooperative-pong) 환경에서 분석했으며, 그 결과 다른 분산 전략에 비해 약 10% 개선되었고, 정책 표현의 기존 모델에 비해 약 5% 개선되었습니다.

Reinforcement learning (RL) is one of the most practical ways to learn from real-life use-cases. Motivated from the cognitive methods used by humans makes it a widely acceptable strategy in the field of artificial intelligence. Most of the environments used for RL are often high-dimensional, and traditional RL algorithms becomes computationally expensive and challenging to effectively learn from such systems. Recent advancements in practical demonstration of quantum computing (QC) theories, such as compact encoding, enhanced representation and learning algorithms, random sampling, or the inherent stochastic nature of quantum systems, have opened up new directions to tackle these challenges. Quantum reinforcement learning (QRL) is seeking significant traction over the past few years. However, the current state of quantum hardware is not enough to cater for such high-dimensional environments with complex multi-agent setup. To tackle this issue, we propose a distributed framework for QRL where multiple agents learn independently, distributing the load of joint training from individual machines. Our method works well for environments with disjoint sets of action and observation spaces, but can also be extended to other systems with reasonable approximations. We analyze the proposed method on cooperative-pong environment and our results indicate ~10% improvement from other distribution strategies, and ~5% improvement from classical models of policy representation.