dtControl2+$\epsilon$: 의사 결정 트리 기반 강화 학습에서 설명 가능성을 위한 최적 거래

dtControl2+$\varepsilon$: Trading Optimality for Explainability in MDPs via Decision Trees

지난 10년 동안 의사 결정 트리는 제어기(정책)를 설명 가능한 방식으로 표현하는 데 사용되었으며, dtControl2는 현재 최고 수준의 도구입니다. 그러나 시스템이 크거나 많은 예외적인 경우를 포함할 때, 이러한 표현 방식조차도 너무 복잡하여 인간이 이해하기 어려울 수 있습니다. 불행히도 의사 결정 트리의 크기를 줄이는 것은 간단하지 않습니다. 왜냐하면 단 하나의 중요한 경우가 누락되면 잘못된 제어기가 생성될 수 있기 때문입니다. 우리는 마르코프 결정 과정(Markov Decision Processes, MDPs) 환경에서 이 문제를 해결하고자 합니다. dtControl2를 확장하여 "$\epsilon$" 기능을 추가했습니다. 허용 가능한 부정확도 $\epsilon \geq 0$이 주어지면, 우리는 의사 결정 트리의 핵심을 담은 더 작은 의사 결정 트리를 구축합니다. 동시에, 제어기의 $\epsilon$-최적성을 보장합니다. 이를 통해 사용자가 원하는 만큼 간단하게 설명을 제공할 수 있으며, 제어 가능한 양의 세부 정보를 생략할 수 있습니다. 우리의 도구는 현재 최고 수준보다 훨씬 작고 효율적인 의사 결정 트리를 생성합니다.

Over the past decade, decision trees have been used to represent controllers (a.k.a. policies) in an explainable way, with dtControl2 as a current state-of-the-art tool. However, for systems that are large or have many corner cases, even such representations tend to be too complex and not human-comprehensible. Unfortunately, reducing the size of the decision tree is not straightforward, as missing just a single crucial case might result in an incorrect controller. We tackle this issue in the setting of Markov decision processes, extending dtControl2 by "$\varepsilon$" functionality: Given an allowed imprecision $\varepsilon \geq 0$, we construct a smaller decision tree, distilling the essence of the controller, while still guaranteeing its $\varepsilon$-optimality. This enables us to provide tunably simpler explanations, omitting a controllable amount of detail. Our tool constructs decision trees that are orders of magnitude smaller than the state of the art.