タイムスリープ的な知性グラフの進化モデル向上

時系列知性グラフ (TKGs)は、人間によって変化する知識を構造的に保存しています。最近の研究では、TKGsの進化パターンを学習するためのモデルを開発することで、将来的な事実予測に達成しているとされています。たとえばYAGOデータセット上でのHits@10スコアはほぼすべての値が0.9を超えるほどです。しかし、現時点で使用されているベンチマークは簡単に引き渡されてしまう工夫を誘発します。既存のテストの近似値と時系列情報による近ごりがうまく機能し、問題として描画されるこの偏りは，データセットや評価タスクに対する潜在的なバイアスを特定することができました。そのため弊研究者は、公正な評価のために進化に対して新しい評価基準の設定を支援するための4つの変異除去されたデータセットおよび2つの新しいタスクによって形成された新しく構築したTKG進化ベンチマークを提案しました。詳細は以下にあります：https://github.com/zjs123/TKG-Benchmark。

arXiv:2602.08353v1 Announce Type: new Abstract: Temporal knowledge graphs (TKGs) structurally preserve evolving human knowledge. Recent research has focused on designing models to learn the evolutionary nature of TKGs to predict future facts, achieving impressive results. For instance, Hits@10 scores over 0.9 on YAGO dataset. However, we find that existing benchmarks inadvertently introduce a shortcut. Near state-of-the-art performance can be simply achieved by counting co-occurrences, without using any temporal information. In this work, we examine the root cause of this issue, identifying inherent biases in current datasets and over simplified form of evaluation task that can be exploited by these biases. Through this analysis, we further uncover additional limitations of existing benchmarks, including unreasonable formatting of time-interval knowledge, ignorance of learning knowledge obsolescence, and insufficient information for precise evolution understanding, all of which can amplify the shortcut and hinder a fair assessment. Therefore, we introduce the TKG evolution benchmark. It includes four bias-corrected datasets and two novel tasks closely aligned with the evolution process, promoting a more accurate understanding of the challenges in TKG evolution modeling. Benchmark is available at: https://github.com/zjs123/TKG-Benchmark.