올바른 이유에 따른 행동: 이유에 민감한 인공 도덕 행위자 생성

Acting for the Right Reasons: Creating Reason-Sensitive Artificial Moral Agents

우리는 규범적 이유에 기초하여 강화 학습 에이전트의 도덕적 의사결정을 가능하게 하는 강화 학습 아키텍처의 확장을 제안한다. 이 접근 방식의 핵심은 인식된 규범적 이유에 부합하는 행동으로 에이전트를 구속하는 도덕적 쉴드를 산출하는 이유 기반 쉴드 생성기이다. 이를 통해 전체 아키텍처는 에이전트가 (내적으로) 도덕적으로 정당화된 행동만을 수행하도록 제한한다. 또한, 우리는 도덕적 판단자의 사례 기반 피드백을 통해 이유 기반 쉴드 생성기를 반복적으로 개선할 수 있는 알고리즘을 설명한다.

We propose an extension of the reinforcement learning architecture that enables moral decision-making of reinforcement learning agents based on normative reasons. Central to this approach is a reason-based shield generator yielding a moral shield that binds the agent to actions that conform with recognized normative reasons so that our overall architecture restricts the agent to actions that are (internally) morally justified. In addition, we describe an algorithm that allows to iteratively improve the reason-based shield generator through case-based feedback from a moral judge.