기술 논리 온톨로지를 확률 회로로 컴파일하여 뉴로 심볼릭 분류 및 그 너머로

To Neuro-Symbolic Classification and Beyond by Compiling Description Logic Ontologies to Probabilistic Circuits

배경: 뉴로 심볼릭 방법은 논리적 제약 조건을 통해 신경망 분류기의 신뢰성을 높이지만, 온톨로지에 대한 기본 지원이 부족하다. 목표: 우리는 도메인 특화 지식을 공식화하는 기술 논리(Description Logic) 온톨로지와 일관된 예측을 안정적으로 산출하는 뉴로 심볼릭 방법을 개발하는 것을 목표로 한다. 방법: 우리는 기술 논리 온톨로지를 질의 및 변환의 처리가 용이한(tractable) 실행을 지원하는 피드포워드 미분 가능 계산 그래프인 '회로(circuit)'로 인코딩한다. 우리는 이 회로가 (i) 온톨로지의 의미를 포착하는 합성 데이터셋 생성, (ii) GPU 상에서의 효율적인 연역적 추론 수행, (iii) 온톨로지에 정의된 지식과 대략적 또는 증명 가능하게 일관된 예측을 수행하는 뉴로 심볼릭 모델 구현에 사용될 수 있음을 보인다. 결과: 회로를 사용하여 생성된 합성 데이터셋은 온톨로지의 의미를 질적으로 포착하는 동시에 신경망을 포함한 머신러닝 분류기에는 까다로운 데이터임을 보여준다. 또한, 온톨로지를 회로로 컴파일하는 방식이 확장 가능한 연역적 추론을 위한 유망한 접근법이며, 기존 추론기들보다 최대 1,000배 빠른 실행 속도를 보임을 입증한다. 마지막으로, 우리의 뉴로 심볼릭 분류기는 신경망 베이스라인과 비교하여 경쟁력 있는 성능을 유지하거나 능가하면서도 일관된 예측을 안정적으로 생성함을 보여준다. 결론: 기술 논리 온톨로지를 회로로 컴파일함으로써 딥러닝과 지식 표현 분야 간의 더욱 긴밀한 통합을 달성할 수 있다. 우리는 단일 회로 표현이 실제 응용과 밀접한 관련된 다양한 난제들을 해결하는 데 사용될 수 있음을 보여준다.

Background: Neuro-symbolic methods enhance the reliability of neural network classifiers through logical constraints, but they lack native support for ontologies. Objectives: We aim to develop a neuro-symbolic method that reliably outputs predictions consistent with a Description Logic ontology that formalizes domain-specific knowledge. Methods: We encode a Description Logic ontology as a circuit, a feed-forward differentiable computational graph that supports tractable execution of queries and transformations. We show that the circuit can be used to (i) generate synthetic datasets that capture the semantics of the ontology; (ii) efficiently perform deductive reasoning on a GPU; (iii) implement neuro-symbolic models whose predictions are approximately or provably consistent with the knowledge defined in the ontology. Results We show that the synthetic dataset generated using the circuit qualitatively captures the semantics of the ontology while being challenging for Machine Learning classifiers, including neural networks. Moreover, we show that compiling the ontology into a circuit is a promising approach for scalable deductive reasoning, with runtimes up to three orders of magnitude faster than available reasoners. Finally, we show that our neuro-symbolic classifiers reliably produce consistent predictions when compared to neural network baselines, maintaining competitive performances or even outperforming them. Conclusions By compiling Description Logic ontologies into circuits, we obtain a tighter integration between the Deep Learning and Knowledge Representation fields. We show that a single circuit representation can be used to tackle different challenging tasks closely related to real-world applications.