표현 학습 기반 심층 강화 학습을 통한 수소 기반 다중 에너지 시스템의 최적 운영

Representation Learning Enhanced Deep Reinforcement Learning for Optimal Operation of Hydrogen-based Multi-Energy Systems

수소 기반 다중 에너지 시스템(HMES)은 전력, 난방 및 냉방 공급과 수요를 조정하여 운영 유연성을 향상시키고, 전체 에너지 효율을 개선하며, 재생 에너지 통합 비율을 높이는 유망한 저탄소 및 에너지 효율 솔루션으로 부상했습니다. 그러나 수소 에너지 저장 시스템(HESS)의 비선형적이고 다물리적 결합된 동역학 및 공급 및 수요 측의 다양한 불확실성으로 인해 HMES의 최적 운영은 여전히 어려운 과제입니다. 이러한 과제를 해결하기 위해, 본 논문에서는 HESS의 비선형적 동역학과 다물리적 프로세스를 완전히 반영하는 HMES의 포괄적인 운영 모델을 개발합니다. 또한, 본 연구에서는 새롭게 떠오르는 표현 학습 기술을 통합하여 심층 강화 학습(DRL) 프레임워크를 개선하고, 공간적 및 시간적 결합된 복잡한 네트워크 시스템에 대한 정책 최적화를 크게 가속화하고 개선합니다. 이는 기존 DRL에서 제공하지 못하는 성능입니다. 실제 데이터를 기반으로 한 실험 결과는 포괄적인 모델이 HESS의 안전하고 신뢰할 수 있는 운영을 보장하는 데 매우 중요하다는 것을 보여줍니다. 또한, 제안된 표현 학습 기반 DRL(SR-DRL) 방법은 기존 DRL 방법보다 우수한 수렴 속도와 성능을 보여주며, 이는 HMES의 운영 비용을 줄이고 시스템 운영 제약을 처리하는 데 도움이 됩니다. 마지막으로, 본 연구는 표현 학습이 DRL에서 어떤 역할을 하는지에 대한 통찰력을 제공하며, 표현 학습이 원래 상태 공간을 잘 구조화되고 클러스터 인지적인 기하학적 표현으로 재구성하여 DRL의 학습 과정을 원활하게 하고 촉진할 수 있다는 가설을 제시합니다.

Hydrogen-based multi-energy systems (HMES) have emerged as a promising low-carbon and energy-efficient solution, as it can enable the coordinated operation of electricity, heating and cooling supply and demand to enhance operational flexibility, improve overall energy efficiency, and increase the share of renewable integration. However, the optimal operation of HMES remains challenging due to the nonlinear and multi-physics coupled dynamics of hydrogen energy storage systems (HESS) (consisting of electrolyters, fuel cells and hydrogen tanks) as well as the presence of multiple uncertainties from supply and demand. To address these challenges, this paper develops a comprehensive operational model for HMES that fully captures the nonlinear dynamics and multi-physics process of HESS. Moreover, we propose an enhanced deep reinforcement learning (DRL) framework by integrating the emerging representation learning techniques, enabling substantially accelerated and improved policy optimization for spatially and temporally coupled complex networked systems, which is not provided by conventional DRL. Experimental studies based on real-world datasets show that the comprehensive model is crucial to ensure the safe and reliable of HESS. In addition, the proposed SR-DRL approaches demonstrate superior convergence rate and performance over conventional DRL counterparts in terms of reducing the operation cost of HMES and handling the system operating constraints. Finally, we provide some insights into the role of representation learning in DRL, speculating that it can reorganize the original state space into a well-structured and cluster-aware geometric representation, thereby smoothing and facilitating the learning process of DRL.