Dist2ill: 大規模言語モデルにおけるワンパス不確実性推定のための分布再学習

arXiv:2505.11731v3 発表型：置き換え 要約：大規模言語モデル（LLM）は、生成された応答の質とそれらに割り当てられる確信度の推定値の間にある不整合を示すことがよくあります。ベイズ的な処理（信頼できる重みの後方分布や思考の経路の空間の上でマージナライズするなど）は有効な解決策ですが、テスト時に反復サンプリングを行うため、計算上のオーバーヘッドが著しいです。正確な不確実性推定をワンパスで可能にするため、LLMが推論パス内のワンパス内で複数の多様な思考経路を生成し、サンプリング分布から導出された経験的分信度スコアを近似するための軽量パラメトリックモジュールを使用するという、新しい分布再学習枠組み（Dist2ill）を提案します。広範な実験は、Dist2ill が思考の多様性を保ち、最上位の不確実性推定を実現し、期待値校正值（ECE）と負の対数尤度（NLL）を著しく改善しながら、かつ計算効率を維持していることを示しています。

arXiv:2505.11731v3 Announce Type: replace Abstract: Large Language Models (LLMs) often exhibit misalignment between the quality of their generated responses and the confidence estimates they assign to them. Bayesian treatments, such as marginalizing over a reliable weight posterior or over the space of reasoning traces, provide an effective remedy, but incur substantial computational overhead due to repeated sampling at test time. To enable accurate uncertainty estimation in a single forward pass, we propose a novel distributional distillation framework (Dist2ill) that trains an LLM to produce multiple diverse reasoning paths within one inference pass, while using a lightweight parametric module to approximate empirical confidence scores derived from the sampling distribution. Extensive experiments demonstrate that Dist2ill preserves reasoning diversity and achieves state-of-the-art uncertainty estimation, substantially improving Expected Calibration Error (ECE) and Negative Log-Likelihood (NLL), while remaining computationally efficient.