埋め込み空間における幾何的推理

arXiv:2504.02018v2 発表タイプ：置換 摘要：この貢献において、グラフニューラルネットワーク（GNN）とトランスフォーマーが幾何学的制約について推理（reasoning）を学習できることを示す。これらのモデルは、点の集合から隠れた図形を表す一意の制約から、離散 2D グRID 内の点の空間的な位置を予測する訓練を受けました。両方のモデルは点の位置を予測できるとともに、興味深くは推理プロセスの間に入力制約によって記述された隠れた図形を埋め込み空間内で形成します。私たちの分析では、両方のモデルが訓練中にグリッド構造を復元し、グリッド内の点に対応する埋め込みが 2D 次元部分空間を形成してグリッドの近隣構造を反映することが示されました。また、我々が設計したこのタスク用のグラフニューラルネットワークはトランスフォーマーに比べて著しく優れていること、またスケーラビリティも容易であることも示しました。

arXiv:2504.02018v2 Announce Type: replace Abstract: In this contribution, we demonstrate that Graph Neural Networks and Transformers can learn to reason about geometric constraints. We train them to predict spatial position of points in a discrete 2D grid from a set of constraints that uniquely describe hidden figures containing these points. Both models are able to predict the position of points and interestingly, they form the hidden figures described by the input constraints in the embedding space during the reasoning process. Our analysis shows that both models recover the grid structure during training so that the embeddings corresponding to the points within the grid organize themselves in a 2D subspace and reflect the neighborhood structure of the grid. We also show that the Graph Neural Network we design for the task performs significantly better than the Transformer and is also easier to scale.