대규모 언어 모델(LLM) 기반 강화 학습을 활용한 무선 네트워크 최적화

Large Language Model (LLM)-enabled Reinforcement Learning for Wireless Network Optimization

다양한 사용자 요구와 6G 기술의 출현으로 인해 미래의 무선 네트워크를 개선하는 것은 네트워킹 시스템에게 큰 과제입니다. 강화 학습(RL)은 강력한 프레임워크이지만, 고차원 상태 공간과 복잡한 환경으로 인해 상당한 계산 부담, 분산 지능, 그리고 잠재적으로 일관성 없는 결과를 초래할 수 있습니다. 대규모 언어 모델(LLM)은 방대한 사전 학습 지식과 고급 추론 능력을 갖추고 있어, 6G 무선 네트워크 최적화에 RL을 향상시키는 데 유망한 도구를 제공합니다. 본 연구에서는 LLM으로 확장된 RL 모델을 탐구하고, 무선 네트워크 최적화에서 LLM과 RL의 시너지 효과가 가져다주는 역할과 잠재적 이점을 강조합니다. 또한, 물리 계층, 데이터 링크 계층, 네트워크 계층, 전송 계층, 그리고 응용 계층 등 다양한 프로토콜 계층에서 LLM 기반 RL을 검토합니다. 더불어, 다중 에이전트 강화 학습(MARL) 프레임워크를 향상시키기 위한 LLM 기반 상태 표현 및 의미 추출 방법을 제안합니다. 제안하는 방법은 서비스 마이그레이션 및 요청 라우팅, 그리고 무인 항공기(UAV)-위성 네트워크에서의 토폴로지 그래프 생성에 적용되었습니다. 사례 연구를 통해, 제안하는 프레임워크가 무선 네트워크 최적화에 효과적으로 사용될 수 있음을 보여줍니다. 마지막으로, 무선 네트워크 최적화를 위한 LLM 기반 RL 연구의 잠재적인 방향을 제시합니다.

Enhancing future wireless networks presents a significant challenge for networking systems due to diverse user demands and the emergence of 6G technology. While reinforcement learning (RL) is a powerful framework, it often encounters difficulties with high-dimensional state spaces and complex environments, leading to substantial computational demands, distributed intelligence, and potentially inconsistent outcomes. Large language models (LLMs), with their extensive pretrained knowledge and advanced reasoning capabilities, offer promising tools to enhance RL in optimizing 6G wireless networks. We explore RL models augmented by LLMs, emphasizing their roles and the potential benefits of their synergy in wireless network optimization. We then examine LLM-enabled RL across various protocol layers: physical, data link, network, transport, and application layers. Additionally, we propose an LLM-assisted state representation and semantic extraction to enhance the multi-agent reinforcement learning (MARL) framework. This approach is applied to service migration and request routing, as well as topology graph generation in unmanned aerial vehicle (UAV)-satellite networks. Through case studies, we demonstrate that our framework effectively performs optimization of wireless network. Finally, we outline prospective research directions for LLM-enabled RL in wireless network optimization.