GRACE를 통한 규범적 일체형 에이전시로부터의 탈피: 안전하고 윤리적인 AI 정렬을 위한 근거 기반 뉴로 심볼릭 아키텍처

Breaking Up with Normatively Monolithic Agency with GRACE: A Reason-Based Neuro-Symbolic Architecture for Safe and Ethical AI Alignment

AI 에이전트가 점차 자율화되고, 중대한 상황에 널리 배치되며, 실질적인 현실 영향을 미치는 데 유능해짐에 따라, 그들의 결정이 도구적으로 효과적일 뿐만 아니라 규범적으로도 정렬되도록 보장하는 것이 중요해졌다. 우리는 규범적 추론을 도구적 의사결정과 분리하고 사실상 모든 설계의 AI 에이전트를 제어할 수 있는 뉴로 심볼릭 근거 기반 제어 아키텍처인 GRACE(Governor for Reason-Aligned ContainmEnt)를 소개한다. GRACE는 의사결정을 세 가지 모듈로 재구성한다. 첫째, 의무 논리 기반 추론을 통해 허용 가능한 매크로 행동을 결정하는 도덕 모듈(MM), 둘째, 도출된 매크로 행동에 따라 도구적으로 최적의 기본 행동을 선택하면서 대상 에이전트를 캡슐화하는 의사결정 모듈(DMM), 셋째, 도덕적 준수를 모니터링하고 강제하는 가드(Guard)이다. MM은 의무 논리에 대한 의미론적 토대를 제공하는 근거 기반 형식을 사용하여 해석 가능성, 이의 제기 가능성, 정당화 가능성을 부여한다. 그 기호적 표현은 DMM의 정보 맥락을 풍부하게 하고, 가드에 의해 강제되는 정렬의 형식 검증 및 통계적 보장을 지원한다. 우리는 LLM 심리 상담 어시스턴트의 예시를 통해 GRACE를 시연하며, 이것이 이해관계자들이 에이전트의 행동을 이해하고, 이의를 제기하며, 개선할 수 있게 하는 방법을 보여준다.

As AI agents become increasingly autonomous, widely deployed in consequential contexts, and efficacious in bringing about real-world impacts, ensuring that their decisions are not only instrumentally effective but also normatively aligned has become critical. We introduce a neuro-symbolic reason-based containment architecture, Governor for Reason-Aligned ContainmEnt (GRACE), that decouples normative reasoning from instrumental decision-making and can contain AI agents of virtually any design. GRACE restructures decision-making into three modules: a Moral Module (MM) that determines permissible macro actions via deontic logic-based reasoning; a Decision-Making Module (DMM) that encapsulates the target agent while selecting instrumentally optimal primitive actions in accordance with derived macro actions; and a Guard that monitors and enforces moral compliance. The MM uses a reason-based formalism providing a semantic foundation for deontic logic, enabling interpretability, contestability, and justifiability. Its symbolic representation enriches the DMM's informational context and supports formal verification and statistical guarantees of alignment enforced by the Guard. We demonstrate GRACE on an example of a LLM therapy assistant, showing how it enables stakeholders to understand, contest, and refine agent behavior.