자동 보상 형성 기반의 교란 요인에 강건한 연속 제어

Confounding Robust Continuous Control via Automatic Reward Shaping

보상 형성은 강화 학습(RL) 에이전트의 학습 속도를 가속화하기 위해 널리 사용되어 왔습니다. 그러나 특히 복잡한 연속 제어 문제에 대한 효과적인 보상 형성 함수를 설계하는 원리적인 방법은 아직 명확하게 설명되지 않았습니다. 본 연구에서는 관찰되지 않은 교란 변수에 오염되었을 가능성이 있는 오프라인 데이터 세트로부터 연속 제어 문제에 대한 보상 형성 함수를 자동으로 학습하는 방법을 제안합니다. 구체적으로, 저희의 방법은 최근에 제안된 인과적 벨만 방정식을 기반으로 최적 상태 값에 대한 엄격한 상한을 학습하며, 이는 잠재 기반 보상 형성(PBRS) 프레임워크에서 잠재력으로 사용됩니다. 제안된 보상 형성 알고리즘은 Soft-Actor-Critic (SAC)과 함께 여러 널리 사용되는 연속 제어 벤치마크에서 테스트되었으며, 관찰되지 않은 교란 요인 하에서도 강력한 성능을 보장합니다. 더 넓은 관점에서, 본 연구는 인과적 관점에서 교란 요인에 강건한 연속 제어를 위한 중요한 첫걸음입니다. 저희의 보상 형성 함수 학습을 위한 코드는 https://github.com/mateojuliani/confounding_robust_cont_control 에서 확인할 수 있습니다.

Reward shaping has been applied widely to accelerate Reinforcement Learning (RL) agents' training. However, a principled way of designing effective reward shaping functions, especially for complex continuous control problems, remains largely under-explained. In this work, we propose to automatically learn a reward shaping function for continuous control problems from offline datasets, potentially contaminated by unobserved confounding variables. Specifically, our method builds upon the recently proposed causal Bellman equation to learn a tight upper bound on the optimal state values, which is then used as the potentials in the Potential-Based Reward Shaping (PBRS) framework. Our proposed reward shaping algorithm is tested with Soft-Actor-Critic (SAC) on multiple commonly used continuous control benchmarks and exhibits strong performance guarantees under unobserved confounders. More broadly, our work marks a solid first step towards confounding robust continuous control from a causal perspective. Code for training our reward shaping functions can be found at https://github.com/mateojuliani/confounding_robust_cont_control.