GS-Quant: 知識図の補完を目的とした粒状型、構造的な生成型量子化

arXiv:2604.21649v1 Announce Type: new 摘要：大規模言語モデル（LLMs）は知識図の補完（KGC）において著しい可能性を呈していますが、連続的な図埋め表現と離散的な LLMトークン間のモダリティギャップを架くことは依然として重大な課題です。最近の量子化に基づくアプローチはこれらのモダリティの整合化を試みていますが、それらは量子化を平坦な数値圧縮として扱う傾向があり、結果として人間な思考の階層構造を反映しない、文脈的に絡み合った符号を生成します。本稿では、KG 実体に対して文脈的に整合性と構造的階層性を持つ離散的な符号を生成する、新たなフレームワークである GS-Quant を提案します。従来の手法とは異なり、GS-Quant はエンティティ表現が言語的な「詳細から一般」の論理に従うべきという洞察に基づいています。我々は、コードブックに階層的情報注入を行い、初期の符号が世界的な文脈カテゴリを捉え、後続の符号が特定の属性を精密化するように機能する「粒状型文脈強化モジュール」を導入しました。さらに、「生成型構造再構築モジュール」は符号列に因果的依存関係を課し、独立した離散的単元を構造化された文脈的な記述へと転換させます。この学習された符号を LLM 語彙に追加することで、モデルはグラフ構造の同形性を自然言語生成と同等の精度で推論できるようになりました。実験結果は、GS-Quant が既存のテキストベースおよび埋め込みベースのベースラインを著しく凌駕したことを示しています。当方のコードは https://github.com/mikumifa/GS-Quant に公開されています。

arXiv:2604.21649v1 Announce Type: new Abstract: Large Language Models (LLMs) have shown immense potential in Knowledge Graph Completion (KGC), yet bridging the modality gap between continuous graph embeddings and discrete LLM tokens remains a critical challenge. While recent quantization-based approaches attempt to align these modalities, they typically treat quantization as flat numerical compression, resulting in semantically entangled codes that fail to mirror the hierarchical nature of human reasoning. In this paper, we propose GS-Quant, a novel framework that generates semantically coherent and structurally stratified discrete codes for KG entities. Unlike prior methods, GS-Quant is grounded in the insight that entity representations should follow a linguistic coarse-to-fine logic. We introduce a Granular Semantic Enhancement module that injects hierarchical knowledge into the codebook, ensuring that earlier codes capture global semantic categories while later codes refine specific attributes. Furthermore, a Generative Structural Reconstruction module imposes causal dependencies on the code sequence, transforming independent discrete units into structured semantic descriptors. By expanding the LLM vocabulary with these learned codes, we enable the model to reason over graph structures isomorphically to natural language generation. Experimental results demonstrate that GS-Quant significantly outperforms existing text-based and embedding-based baselines. Our code is publicly available at https://github.com/mikumifa/GS-Quant.