RL을 이용한 구조화된 LTL 표현을 통한 제로샷 명령어 추종

Zero-Shot Instruction Following in RL via Structured LTL Representations

본 연구에서는 다중 작업 강화 학습 환경에서, 학습 과정에서 경험하지 못한 새로운 작업을 제로샷으로 수행해야 하는 에이전트의 명령어 추종 문제를 다룬다. 최근, 선형 시간 논리(LTL)는 구조화되고 시간적 제약이 있는 작업을 명시하는 강력한 프레임워크로 활용되고 있다. 기존 연구들은 일반화된 정책을 학습하는 데 성공했지만, LTL 명세에 내재된 풍부한 논리적 및 시간적 구조를 효과적으로 포착하는 데 어려움을 겪는 경우가 많다. 본 연구에서는 이러한 문제점을 해결하기 위해, 학습 및 일반화를 용이하게 하는 구조화된 작업 표현을 학습하는 새로운 방법을 제안한다. 제안하는 방법은 에이전트 정책을 작업의 유한 오토마톤에서 구성된 부울 수식의 시퀀스에 조건부로 연결한다. 우리는 이러한 수식의 논리적 구조를 인코딩하기 위한 계층적 신경망 아키텍처를 제안하고, 정책이 미래의 부분 목표에 대해 추론할 수 있도록 하는 어텐션 메커니즘을 도입한다. 다양한 복잡한 환경에서의 실험 결과는 제안하는 방법이 강력한 일반화 능력과 우수한 성능을 갖는다는 것을 보여준다.

We study instruction following in multi-task reinforcement learning, where an agent must zero-shot execute novel tasks not seen during training. In this setting, linear temporal logic (LTL) has recently been adopted as a powerful framework for specifying structured, temporally extended tasks. While existing approaches successfully train generalist policies, they often struggle to effectively capture the rich logical and temporal structure inherent in LTL specifications. In this work, we address these concerns with a novel approach to learn structured task representations that facilitate training and generalisation. Our method conditions the policy on sequences of Boolean formulae constructed from a finite automaton of the task. We propose a hierarchical neural architecture to encode the logical structure of these formulae, and introduce an attention mechanism that enables the policy to reason about future subgoals. Experiments in a variety of complex environments demonstrate the strong generalisation capabilities and superior performance of our approach.