인과 관계 기반 강화 학습 입문

An Introduction to Causal Reinforcement Learning

인과 추론은 데이터와 환경에 대한 지식을 결합하여 가상 시나리오에 대해 추론할 수 있는 원칙과 도구를 제공합니다. 즉, 실제로 발생하지 않은 현실에 대한 데이터를 현재 사용할 수 없더라도 '만약 상황이 달랐다면 어떻게 되었을까?'라는 질문에 답할 수 있습니다. 반면, 강화 학습은 에이전트가 환경 내에서 활동하며 탐색적이고 시행착오적인 방식으로 특정 지표(예: 보상, 후회)를 최적화하는 정책을 학습하는 방법을 제공합니다. 이 두 분야는 독립적으로 발전했으며, 거의 상호 작용하지 않았습니다. 하지만, 이들은 '가상 관계'라는 동일한 기반 요소의 서로 다른 측면에서 작동하며, 이는 둘을 밀접하게 연결합니다. 이러한 관찰을 바탕으로, 이러한 연결이 명시적으로 인식되고 수학적으로 표현될 때 새로운 학습 기회가 발생합니다. 이러한 잠재력을 실현하기 위해, 강화 학습 에이전트가 활동하는 모든 환경은 다양한 인과적 불변성을 가진 자율적인 메커니즘의 집합으로 분해할 수 있으며, 이는 구조적 인과 모델로 간결하게 표현될 수 있습니다. 즉, 표준적인 강화 학습 설정은 암묵적으로 이러한 모델을 포함합니다. 이러한 형식화는 온라인 학습, 오프라인 학습 및 인과 계산 학습과 같이 문헌에서 관련 없어 보이는 다양한 학습 방식을 통합적으로 다룰 수 있게 합니다. 그러나 이러한 방식들은 모든 것을 포괄하는 것은 아닙니다. 우리는 자연스럽고 널리 사용되는 여러 가지 학습 환경을 소개하고, 이를 통해 새로운 분석 차원을 제시합니다. 특히, 인과적 관점에서 일반화된 정책 학습, 개입(intervention), 모방 학습 및 가상 학습에 대해 소개하고 논의합니다. 이러한 작업들은 가상 학습에 대한 더 넓은 시각을 제공하며, 인과 추론과 강화 학습을 함께 연구할 수 있는 큰 잠재력을 제시합니다. 우리는 이를 '인과 관계 기반 강화 학습(Causal Reinforcement Learning, CRL)'이라고 부릅니다.

Causal inference provides a set of principles and tools that allow one to combine data and knowledge about an environment to reason with questions of counterfactual nature, i.e., what would have happened had reality been different, even when no data of this unrealized reality is currently available. Reinforcement learning provides methods to learn a policy that optimizes a specific measure (e.g., reward, regret) when the agent is deployed in an environment and pursues an exploratory, trial-and-error approach. These two disciplines have evolved independently and with virtually no interaction between them. We note that they operate over different aspects of the same building block, counterfactual relations, which makes them umbilically connected. Based on these observations, novel learning opportunities arise when this connection is explicitly acknowledged and mathematized. To realize this potential, we note that any environment where the RL agent is deployed can be decomposed as a collection of autonomous mechanisms with different causal invariances, parsimoniously modeled as a structural causal model; any standard RL setting implicitly encodes such a model. This formalization allows us to put under a unifying treatment different modes of learning, including online, off-policy, and causal calculus learning, which appear unrelated in the literature. However, these modalities are not exhaustive: we introduce several natural and pervasive classes of learning settings that entail novel dimensions of analysis. Specifically, we introduce and discuss through causal lenses generalized policy learning, where to intervene, imitation learning, and counterfactual learning. These tasks lead to a broader view of counterfactual learning and suggest great potential for studying causal inference and reinforcement learning side by side, which we call causal reinforcement learning (CRL).