ERA：確証に基づく信頼性アライメントによる誠実な検索拡張生成

arXiv:2604.20854v1 Announce Type: cross アブストラクト：検索拡張生成（RAG）は言語モデルを事実の証拠に根ざしますが、内部化されたパラメータと検索された情報間の知識の衝突に関する重大な課題を伴います。ただし、既存の信頼性手法は通常スカラーの確信度に基づいており、このようなハイブリッドなシナリオでは認識的不確性と本質的なデータの曖昧性の間を明示的に区別できません。本稿では、確信度の推定をスカラー確率から明示的な証拠分布へシフトさせることで、RAG システムの拒否行動（Abstention）を向上させる新しいフレームワーク、ERA（Evidence-based Reliability Alignment）を提案します。当方法の 2 つの主要な構成要素は、(1) 文脈的証拠の定量：ディラクレ分布を用いて内部知識と外部知識を独立した信念質量としてモデル化するもの、および (2) 知識衝突の定量：デンプスター・シャファー理論（DST）を用いて情報源間の幾何学的不協和性を厳密に測定するものです。これらの構成要素は、認識的不確性と偶然的不確性とを分離し、検出された衝突に基づいて最適化目的を調節します。標準ベンチマークと編集された一般化データセットにおける実験では、当アプローチがベースラインを大幅に凌駕しており、回答の網羅性と拒否のバランスを最適化し、優れた定式化特性を達成することが示されました。

arXiv:2604.20854v1 Announce Type: cross Abstract: Retrieval-Augmented Generation (RAG) grounds language models in factual evidence but introduces critical challenges regarding knowledge conflicts between internalized parameters and retrieved information. However, existing reliability methods, typically relying on scalar confidence, fail to explicitly distinguish between epistemic uncertainty and inherent data ambiguity in such hybrid scenarios. In this paper, we propose a new framework called ERA (Evidence-based Reliability Alignment) to enhance abstention behavior in RAG systems by shifting confidence estimation from scalar probabilities to explicit evidence distributions. Our method consists of two main components: (1) Contextual Evidence Quantification, which models internal and external knowledge as independent belief masses via the Dirichlet distribution, and (2) Quantifying Knowledge Conflict, which leverages Dempster-Shafer Theory (DST) to rigorously measure the geometric discordance between information sources. These components are used to disentangle epistemic uncertainty from aleatoric uncertainty and modulate the optimization objective based on detected conflicts. Experiments on standard benchmarks and a curated generalization dataset demonstrate that our approach significantly outperforms baselines, optimizing the trade-off between answer coverage and abstention with superior calibration.