Manifold 上の推理：拡散言語モデルにおける自己検証のための双方向一貫性

arXiv:2604.16565v2 発表タイプ：置換クロス 要約：拡散型大言語モデル（dLLMs）は、グローバルな計画に構造的利点を備えていますが、その答えが有効な推理のトレースを通じて正しいものであるかを効率的に検証することは依然として決定的な課題です。本研究では、幾何学的な視点である「Manifold 上の推理」を提案します。私たちが仮定していることは、有効な生成軌跡は学習された分布の高密度マニフォールド上に安定した吸引子として存在し、一方、無効なパスはマニフォールドからのドリフトを示すことです。これを実用的にするために、私は、前向きマスクと後方再構成サイクルを通じて生成されたシーケンスの安定性を定量化する、訓練フリーで监督不要な指標である「双方向マニフォールド一貫性（BMC）」を導入します。経験的に、BMC の汎用性を推理の全ライフサイクルにわたって示しました：（1）診断では、真の答えなしで解決策の有効性を頑健に区別する discriminator として機能します；（2）推論では、計算リソースを複雑な推理タスクに効果的に集中させるために拒絶サンプリングを可能にします；そして（3）対齊では、スパースな結果監督を細粒度の指針に変換する稠密幾何学的報酬として機能し、モデルを標準的な基準を超えて自己進化させることを可能にします。私達の結果は、dLLMs の正しさを示す頑健な指標として、内在幾何学的安定性を確立しました。

arXiv:2604.16565v2 Announce Type: replace-cross Abstract: While Diffusion Large Language Models (dLLMs) offer structural advantages for global planning, efficiently verifying that they arrive at correct answers via valid reasoning traces remains a critical challenge. In this work, we propose a geometric perspective: Reasoning on the Manifold. We hypothesize that valid generation trajectories reside as stable attractors on the high-density manifold of the learned distribution, whereas invalid paths exhibit off-manifold drift. To operationalize this, we introduce Bidirectional Manifold Consistency (BMC), a training-free, unsupervised metric that quantifies the stability of the generated sequence through a forward-masking and backward-reconstruction cycle. Empirically, we demonstrate BMC's versatility across the full reasoning lifecycle: (1) in Diagnosis, it serves as a robust discriminator of solution validity without ground truth answer; (2) in Inference, it enables rejection resampling to effectively concentrate computational resources on complex reasoning tasks; and (3) in Alignment, it functions as a dense geometric reward that transforms sparse outcome supervision into fine-grained guidance, empowering models to self-evolve beyond standard baselines. Our results establish intrinsic geometric stability as a robust indicator of correctness for dLLMs.