텐서 논리 구현: 텐서 축약을 통한 데이터로그와 신경망 추론의 통합

Implementing Tensor Logic: Unifying Datalog and Neural Reasoning via Tensor Contraction

기계 학습 분야에서 상징적 추론과 신경망의 통합은 여전히 핵심적인 과제입니다. 상징 시스템은 신뢰성과 해석 가능성을 제공하지만 확장성이 부족하며, 신경망은 학습 능력을 제공하지만 투명성을 희생합니다. 도밍고스가 제안한 텐서 논리는 논리 규칙과 아인슈타인 합이 수학적으로 동등하다는 점을 제시하며, 통합을 위한 체계적인 방법을 제공합니다. 본 논문에서는 세 가지 실험을 통해 이 프레임워크의 실증적 검증을 제공합니다. 첫째, 1,972명의 개인과 1,727개의 부모-자녀 관계를 포함하는 성경 계보 그래프의 전이 폐쇄를 계산하여 74번의 반복을 통해 33,945개의 조상 관계를 발견함으로써 재귀적 데이터로그 규칙과 반복적인 텐서 축약 간의 동등성을 입증합니다. 둘째, 학습 가능한 변환 행렬을 사용하여 신경망을 훈련시켜 임베딩 공간에서 추론을 구현하고, 학습 데이터에 포함되지 않은 쿼리에 대한 성공적인 제로샷 합성 추론을 수행합니다. 셋째, 14,541개의 개체와 237개의 관계를 가진 대규모 지식 그래프인 FB15k-237에서 텐서 논리 중첩 구성 방식을 검증합니다. 도밍고스의 관계 행렬 공식 $R_r = E^ op A_r E$를 사용하여 표준 링크 예측에서 MRR 0.3068, 그리고 훈련 중에 직접 연결을 제거한 합성 추론 벤치마크에서 MRR 0.3346을 달성했습니다. 이는 행렬 합성이 직접적인 훈련 예제가 없는 상태에서도 다중 단계 추론을 가능하게 한다는 것을 보여줍니다.

The unification of symbolic reasoning and neural networks remains a central challenge in artificial intelligence. Symbolic systems offer reliability and interpretability but lack scalability, while neural networks provide learning capabilities but sacrifice transparency. Tensor Logic, proposed by Domingos, suggests that logical rules and Einstein summation are mathematically equivalent, offering a principled path toward unification. This paper provides empirical validation of this framework through three experiments. First, we demonstrate the equivalence between recursive Datalog rules and iterative tensor contractions by computing the transitive closure of a biblical genealogy graph containing 1,972 individuals and 1,727 parent-child relationships, converging in 74 iterations to discover 33,945 ancestor relationships. Second, we implement reasoning in embedding space by training a neural network with learnable transformation matrices, demonstrating successful zero-shot compositional inference on held-out queries. Third, we validate the Tensor Logic superposition construction on FB15k-237, a large-scale knowledge graph with 14,541 entities and 237 relations. Using Domingos's relation matrix formulation $R_r = E^\top A_r E$, we achieve MRR of 0.3068 on standard link prediction and MRR of 0.3346 on a compositional reasoning benchmark where direct edges are removed during training, demonstrating that matrix composition enables multi-hop inference without direct training examples.