시간적 지식 그래프를 위한 더 나은 진화 모델링

Towards Better Evolution Modeling for Temporal Knowledge Graphs

시간적 지식 그래프(TKG)는 진화하는 인간의 지식을 구조적으로 보존한다. 최근 연구는 미래 사실을 예측하기 위해 TKG의 진화적 특성을 학습하는 모델을 설계하는 데 초점을 맞추었으며, 인상적인 결과를 달성했다. 예를 들어, YAGO 데이터셋에서 Hits@10 점수가 0.9를 넘는다. 그러나 우리는 기존 벤치마크가 의도치 않게 지름길(shortcut)을 도입하고 있음을 발견했다. 시간 정보를 전혀 사용하지 않고 단순히 동시 등장 횟수를 세는 것만으로도 최첨단 성능에 가까운 결과를 얻을 수 있다. 본 연구에서는 이 문제의 근본 원인을 조사하여, 현재 데이터셋의 내재적 편향과 이러한 편향에 의해 이용될 수 있는 지나치게 단순화된 평가 작업 형태를 식별한다. 이러한 분석을 통해 우리는 기존 벤치마크의 추가적인 한계점들을 밝혀내는데, 여기에는 시간 구간 지식의 비합리적인 형식, 지식 노후화 학습의 간과, 정밀한 진화 이해를 위한 정보 부족 등이 포함되며, 이 모든 것은 지름길을 증폭시키고 공정한 평가를 저해할 수 있다. 따라서 우리는 TKG 진화 벤치마크를 소개한다. 이는 편향이 수정된 4개의 데이터셋과 진화 과정과 밀접하게 정렬된 2개의 새로운 태스크를 포함하며, TKG 진화 모델링의 과제에 대한 더 정확한 이해를 촉진한다. 벤치마크는 https://github.com/zjs123/TKG-Benchmark 에서 이용할 수 있다.

Temporal knowledge graphs (TKGs) structurally preserve evolving human knowledge. Recent research has focused on designing models to learn the evolutionary nature of TKGs to predict future facts, achieving impressive results. For instance, Hits@10 scores over 0.9 on YAGO dataset. However, we find that existing benchmarks inadvertently introduce a shortcut. Near state-of-the-art performance can be simply achieved by counting co-occurrences, without using any temporal information. In this work, we examine the root cause of this issue, identifying inherent biases in current datasets and over simplified form of evaluation task that can be exploited by these biases. Through this analysis, we further uncover additional limitations of existing benchmarks, including unreasonable formatting of time-interval knowledge, ignorance of learning knowledge obsolescence, and insufficient information for precise evolution understanding, all of which can amplify the shortcut and hinder a fair assessment. Therefore, we introduce the TKG evolution benchmark. It includes four bias-corrected datasets and two novel tasks closely aligned with the evolution process, promoting a more accurate understanding of the challenges in TKG evolution modeling. Benchmark is available at: https://github.com/zjs123/TKG-Benchmark.