심층 강화 학습에서 자연 정책 경사법을 위한 역 피셔 정보 행렬의 랭크-1 근사

Rank-1 Approximation of Inverse Fisher for Natural Policy Gradients in Deep Reinforcement Learning

자연 경사는 빠른 수렴 속도와 공변 가중치 업데이트 특성으로 인해 심층 강화 학습 분야에서 오랫동안 연구되어 왔습니다. 그러나 자연 경사를 계산하려면 각 반복마다 피셔 정보 행렬(FIM)의 역행렬을 계산해야 하는데, 이는 계산 비용이 매우 높습니다. 본 논문에서는 완전한 역-FIM에 대한 랭크-1 근사를 활용하여 효율적이고 확장 가능한 자연 정책 최적화 기법을 제시합니다. 우리는 특정 조건 하에서 랭크-1 근사가 정책 경사법보다 더 빠르게 수렴하며, 특정 조건 하에서는 확률적 정책 경사법과 동일한 샘플 복잡도를 갖는다는 것을 이론적으로 증명합니다. 저희 방법론을 다양한 환경에서 실험한 결과, 표준 액터-크리틱 및 신뢰 영역 기반 방법보다 우수한 성능을 달성하는 것을 확인했습니다.

Natural gradients have long been studied in deep reinforcement learning due to their fast convergence properties and covariant weight updates. However, computing natural gradients requires inversion of the Fisher Information Matrix (FIM) at each iteration, which is computationally prohibitive in nature. In this paper, we present an efficient and scalable natural policy optimization technique that leverages a rank-1 approximation to full inverse-FIM. We theoretically show that under certain conditions, a rank-1 approximation to inverse-FIM converges faster than policy gradients and, under some conditions, enjoys the same sample complexity as stochastic policy gradient methods. We benchmark our method on a diverse set of environments and show that it achieves superior performance to standard actor-critic and trust-region baselines.