LLM 기반 정책 준수 추론을 위한 지식 그래프 표현

Knowledge Graph Representations for LLM-Based Policy Compliance Reasoning

인공지능 기술이 소프트웨어 애플리케이션에 빠르게 통합됨에 따라 AI 기능으로 인한 위험이 증가하고 있습니다. 이에 대응하여 안전하고 보안적인 AI를 위한 규제 및 표준이 제안되고 있습니다. 본 논문에서는 AI 정책 문서를 기반으로 지식 그래프(KG)를 구축하고, 정책 관련 정보를 검색하여 질문에 답변하는 에이전트 기반 프레임워크를 제시합니다. 우리는 두 가지 온톨로지 스키마를 사용하여 세 가지 AI 위험 관련 정책으로부터 KG를 구축하고, 엔티티 조회부터 정책 간 추론까지 6가지 유형의 42개 정책 질문-답변 작업에서 5개의 LLM을 평가합니다. KG 증강은 5개의 모델 모두의 성능을 향상시키며, 공식 온톨로지에 필적하거나 능가하는 LLM이 자체적으로 발견한 스키마를 활용했습니다.

The risks posed by AI features are increasing as they are rapidly integrated into software applications. In response, regulations and standards for safe and secure AI have been proposed. In this paper, we present an agentic framework that constructs knowledge graphs (KGs) from AI policy documents and retrieves policy-relevant information to answer questions. We build KGs from three AI risk-related polices under two ontology schemas, and then evaluate five LLMs on 42 policy QA tasks spanning six reasoning types, from entity lookup to cross-policy inference, using both heuristic scoring and an LLM-as-judge. KG augmentation improves scores for all five models, and an open, LLM-discovered schema matches or exceeds the formal ontology.