계층적 신경 옵션과 추상적 세계 모델의 공동 학습

Joint Learning of Hierarchical Neural Options and Abstract World Model

기존 기술을 조합하여 새로운 기술을 수행할 수 있는 에이전트를 개발하는 것은 인공지능 에이전트 연구의 오랜 목표입니다. 이를 위해, 우리는 계층적 신경 옵션으로 공식화된 기술 시퀀스를 효율적으로 습득하는 방법을 연구합니다. 그러나 기존의 모델 기반이 아닌 계층적 강화 학습 알고리즘은 많은 데이터를 필요로 합니다. 우리는 AgentOWL(Option and World model Learning Agent)이라는 새로운 방법을 제안합니다. 이 방법은 추상적 세계 모델(상태와 시간을 모두 추상화)과 계층적 신경 옵션 집합을 효율적인 데이터 사용량으로 동시에 학습합니다. 객체 중심 Atari 게임의 일부에서, 우리의 방법이 기존 방법보다 훨씬 적은 데이터로 더 많은 기술을 학습할 수 있음을 보여줍니다.

Building agents that can perform new skills by composing existing skills is a long-standing goal of AI agent research. Towards this end, we investigate how to efficiently acquire a sequence of skills, formalized as hierarchical neural options. However, existing model-free hierarchical reinforcement algorithms need a lot of data. We propose a novel method, which we call AgentOWL (Option and World model Learning Agent), that jointly learns -- in a sample efficient way -- an abstract world model (abstracting across both states and time) and a set of hierarchical neural options. We show, on a subset of Object-Centric Atari games, that our method can learn more skills using much less data than baseline methods.