LTL 지시문을 활용한 다중 작업 강화 학습을 위한 의미적 라벨링 오토마타

Semantically Labelled Automata for Multi-Task Reinforcement Learning with LTL Instructions

우리는 에이전트가 임의의 작업이나 이전에 본 적 없는 작업에 대해서도 일반화할 수 있는 단일의 보편적 정책을 학습하는 환경인 다중 작업 강화 학습(RL)을 연구한다. 우리는 선형 시제 논리(LTL) 식으로 명시된 작업을 고려하는데, 이는 형식 기법에서 시스템의 속성을 명세하는 데 흔히 사용되며 최근 강화 학습에도 성공적으로 도입되었다. 이러한 설정에서, 우리는 원래 시제 합성을 위해 개발된 차세대 의미적 LTL-오토마타 변환 기술을 활용한 새로운 작업 임베딩 기법을 제시한다. 그 결과 생성되는 의미적으로 라벨링된 오토마타는 각 상태 내에 풍부하고 구조화된 정보를 포함하고 있어, (i) 오토마타를 실행 중에 효율적으로 계산하고, (ii) 정책의 조건으로 사용되는 표현력 풍부한 작업 임베딩을 추출하며, (iii) 전체 LTL을 자연스럽게 지원할 수 있게 한다. 다양한 도메인에서의 실험 결과는 우리의 접근 방식이 최고 수준의 성능을 달성하며, 기존 방법들이 실패하는 복잡한 명세에 대해서도 확장 가능하다는 것을 입증한다.

We study multi-task reinforcement learning (RL), a setting in which an agent learns a single, universal policy capable of generalising to arbitrary, possibly unseen tasks. We consider tasks specified as linear temporal logic (LTL) formulae, which are commonly used in formal methods to specify properties of systems, and have recently been successfully adopted in RL. In this setting, we present a novel task embedding technique leveraging a new generation of semantic LTL-to-automata translations, originally developed for temporal synthesis. The resulting semantically labelled automata contain rich, structured information in each state that allow us to (i) compute the automaton efficiently on-the-fly, (ii) extract expressive task embeddings used to condition the policy, and (iii) naturally support full LTL. Experimental results in a variety of domains demonstrate that our approach achieves state-of-the-art performance and is able to scale to complex specifications where existing methods fail.