제한된 통신 환경에서의 UAV 기반 무선 네트워크를 위한 시공간적 주의력 기반 다중 에이전트 심층 강화 학습

Spatio-Temporal Attention Enhanced Multi-Agent DRL for UAV-Assisted Wireless Networks with Limited Communications

본 논문에서는 지상 사용자(GU)로부터 원격 기지국(BS)으로의 데이터 전송 속도를 높이기 위해 여러 대의 UAV를 활용하며, UAV 간의 릴레이 통신을 통해 데이터를 전달합니다. UAV 간의 불규칙적인 정보 교환은 시스템 상태 정보를 획득하는 데 지연을 발생시키고, 효과적인 협업을 저해합니다. 전체 처리량을 극대화하기 위해, 본 논문에서는 먼저 지연에 대한 패널티를 부여하여 UAV 간의 정보 공유를 장려하고, 동시에 UAV의 경로 계획, 네트워크 형성 및 전송 제어 전략을 최적화하는 지연 허용형 다중 에이전트 심층 강화 학습(MADRL) 알고리즘을 제안합니다. 또한, 불안정 한 채널 조건으로 인한 정보 손실을 고려하여, 시공간적 주의력 기반 예측 기법을 제안하여 손실된 정보를 복구하고 각 UAV의 네트워크 상태 인지 능력을 향상시킵니다. 이러한 두 가지 설계는 제한된 통신 환경에서 UAV 기반 무선 네트워크의 용량을 향상시키는 데 기여할 것으로 예상됩니다. 시뮬레이션 결과는 제안된 방법이 기존 MADRL에 비해 정보 지연을 50% 이상 줄이고 처리량을 75% 향상시킬 수 있음을 보여줍니다. 흥미롭게도, UAV 간의 정보 공유를 개선하는 것이 네트워크 용량을 희생시키지 않으며, 오히려 학습 성능과 처리량을 동시에 크게 향상시키는 것을 확인했습니다. 또한, 이는 UAV의 정보 교환 필요성을 줄여 UAV 기반 무선 네트워크에 MADRL을 실제로 적용하는 데 효과적입니다.

In this paper, we employ multiple UAVs to accelerate data transmissions from ground users (GUs) to a remote base station (BS) via the UAVs' relay communications. The UAVs' intermittent information exchanges typically result in delays in acquiring the complete system state and hinder their effective collaboration. To maximize the overall throughput, we first propose a delay-tolerant multi-agent deep reinforcement learning (MADRL) algorithm that integrates a delay-penalized reward to encourage information sharing among UAVs, while jointly optimizing the UAVs' trajectory planning, network formation, and transmission control strategies. Additionally, considering information loss due to unreliable channel conditions, we further propose a spatio-temporal attention based prediction approach to recover the lost information and enhance each UAV's awareness of the network state. These two designs are envisioned to enhance the network capacity in UAV-assisted wireless networks with limited communications. The simulation results reveal that our new approach achieves over 50\% reduction in information delay and 75% throughput gain compared to the conventional MADRL. Interestingly, it is shown that improving the UAVs' information sharing will not sacrifice the network capacity. Instead, it significantly improves the learning performance and throughput simultaneously. It is also effective in reducing the need for UAVs' information exchange and thus fostering practical deployment of MADRL in UAV-assisted wireless networks.