離散状態空間での次概念予測は強力な言語モデルを導出します

抽象: 我たちは Next Concept Prediction (NCP) を提案しました。これは、Next Token Prediction (NTP) の上に構築されている生成前の段階であると説明します。 NCP は、複数のトークンを跨いで特定の理論的概念を予測し、したがってより困難な前処理目的を作り出します。我々のモデル、ConceptLM を、ベクトル量化を使用して隠れ状態を質化し、そして概念語彙を構築します。 NCP と NTP を利用することでパラメータの更新が促進されるため、それを介さいで、次のトークン生成に誘導します。 ConceptLM のパラメーター数の種類 (70M から 1.5B) 專門な範囲で、最大で 300 個のトレーニングデータ、Pythia 及び GPT-2 の骨格を含みます。13 ベンチマーケットでの結果は、統合したモデルとしての通常のトークンレベルのモデルよりも一般的な性能改善の連続を示しています。特に、8B のパラメーターで継続的なトレーニング実験からの Llama を処理する際にも NCP によりさらに強力なモデルになります。我々の分析は NCP がより強く効果的な言語モデルを導出できるハードな前処理タスクを追加することで、より力を付けるよう説明しています。それは良い言語モデルへの可能性のある道を開く promising のためです。

arXiv:2602.08984v1 Announce Type: cross Abstract: We propose Next Concept Prediction (NCP), a generative pretraining paradigm built on top of Next Token Prediction (NTP). NCP predicts discrete concepts that span multiple tokens, thereby forming a more challenging pretraining objective. Our model, ConceptLM, quantizes hidden states using Vector Quantization and constructs a concept vocabulary. It leverages both NCP and NTP to drive parameter updates and generates a concept to guide the generation of the following tokens. We train ConceptLM from scratch at scales ranging from 70M to 1.5B parameters with up to 300B training data, including Pythia and GPT-2 backbones. Results on 13 benchmarks show that NCP yields consistent performance gains over traditional token-level models. Furthermore, continual pretraining experiments on an 8B-parameter Llama model indicate that NCP can further improve an NTP-trained model. Our analysis suggests that NCP leads to more powerful language models by introducing a harder pretraining task, providing a promising path toward better language modeling.