Diffusion Inspired マスクインターナショナルチューニングによる知識の投入: アウトローサティブLLMにとって

大型言語モデル (LLMs) の多くは、事実が変わる環境で使用できます。一方で、未構造テキストへの微調整による事実に関する知識を更新することは、パワフルなシナリオ変換や逆流カウンドから利益を受けることによって苦労しています。最近の研究によると、dLLM (Diffusion-inspired LLM) は、プレトレーニングでの損失が低いことを要求するわずかなトレーナーのサンプル数を求めているため、逆流悪用から守られているので、arLLM (AutoRegressive LLM)（アウトローサティブ LLN）よりも新しい知識を学ぶのが容易に見えるのです。我々はこの仮説について制御された知性微調整の実験で検証し、arLMs によって知識が一般化されて QA 能力を獲得するためにパワフルなシナリオ変換に頼ることを発見しました。一方で、dLLMs も mask-inference を必要とせずに高性能な QA 精力があることを示したです。dLMs における mask ニューサインスの対策のみが特定の知識の注入優位性を引き出す場合でも、その発掘能力を誘導するためには、arLMs のマスク・チューニングと呼ばれています。このマウント・チューニングは、元のテキストから masked バージョン を生成するために要求される arLM に提唱し、エフェクト的に知性的な注入を大幅に改善する - 他にはパロフレートが必要なく、逆流悪用から守られています。さらなる質問: mask ニューサインスが監督的なチューニング統徴 (SFT) で数学的なタスクについても同様の知識注入優位性を引き出すと証明しました。そのためには、mask ニューサインス対策は更に広範であると言えます。

arXiv:2510.09885v4 Announce Type: replace-cross Abstract: Large language models (LLMs) are often used in environments where facts evolve, yet factual knowledge updates via fine-tuning on unstructured text often suffers from 1) reliance on compute-heavy paraphrase augmentation and 2) the reversal curse. Recent studies show diffusion large language models (dLLMs) require fewer training samples to achieve lower loss in pre-training and are more resistant to the reversal curse, suggesting dLLMs may learn new knowledge more easily than autoregressive LLMs (arLLMs). We test this hypothesis in controlled knowledge fine-tuning experiments and find that while arLLMs rely on paraphrase augmentation to generalize knowledge text into question-answering (QA) capability, dLLMs do not require paraphrases to achieve high QA accuracy. To further investigate whether the demasking objective alone can induce such a knowledge injection advantage in dLLMs regardless of their diffusion denoising paradigm, we propose masked fine-tuning for arLLMs, which prompts an arLLM to reconstruct the original text given a masked version in context. The masked fine-tuning for arLLMs substantially improves the efficacy of knowledge injection, i.e. no paraphrase needed and resistant to the reversal curse, closing the gap between arLLMs and dLLMs. We also demonstrate that the same demasking objective improves supervised fine-tuning (SFT) on math tasks over standard SFT, suggesting broader applicability of the demasking objective.