Variance-Gated Ensembles: An Epistemic-Aware Framework for Uncertainty Estimation

arXiv:2602.08142v1 Announce Type: new Abstract: 機械学習アプリケーションでは、サンプルあたりの確実な不確実性の推定が速く不可欠です。一般的なアプローチとして、ベイズ法や近似法から得られる予測分布を使用し、不確実性を確率（データに関連する）と認識的（モデルに関連する）成分に加法分解することです。しかし、加法分解は最近疑問視されており、有限アンサンブルサンプリングと/または不一致な予測分布を使用する際に破綻することが示されています。本稿では、アンサンブル統計量から計算される信号対ノイズゲートを通じて認識的感度を注入する、直感的で微分可能な VGE（Variance-Gated Ensembles）を導入します。VGE は、以下を提供します：(i) 決定境界とアンサンブル予測分散を連動させる VGMU（Variance-Gated Margin Uncertainty）スコア、および (ii) アンサンブルメンバーの確率をクラスごと学習可能に正規化する VGN（Variance-Gated Normalization）層で、不確実性メカニズムをトレーニングに一般化します。アンサンブルサンプルの平均と分散を通じてエンドツーエンドのトレーニングを可能にするクローズド・フォームのベクトル・ヤコビアン積を導き出しました。VGE は計算コストを低く抑えながら、状態の最良の情報が理論的な基準を同等または凌駕します。その結果、VGE はアンサンブルモデルにおける認識的感知の不確実性推定に対して、実用的かつスケーラブルなアプローチを提供します。オープンソース実装は以下の URL で利用可能です：https://github.com/nextdevai/vge

arXiv:2602.08142v1 Announce Type: new Abstract: Machine learning applications require fast and reliable per-sample uncertainty estimation. A common approach is to use predictive distributions from Bayesian or approximation methods and additively decompose uncertainty into aleatoric (i.e., data-related) and epistemic (i.e., model-related) components. However, additive decomposition has recently been questioned, with evidence that it breaks down when using finite-ensemble sampling and/or mismatched predictive distributions. This paper introduces Variance-Gated Ensembles (VGE), an intuitive, differentiable framework that injects epistemic sensitivity via a signal-to-noise gate computed from ensemble statistics. VGE provides: (i) a Variance-Gated Margin Uncertainty (VGMU) score that couples decision margins with ensemble predictive variance; and (ii) a Variance-Gated Normalization (VGN) layer that generalizes the variance-gated uncertainty mechanism to training via per-class, learnable normalization of ensemble member probabilities. We derive closed-form vector-Jacobian products enabling end-to-end training through ensemble sample mean and variance. VGE matches or exceeds state-of-the-art information-theoretic baselines while remaining computationally efficient. As a result, VGE provides a practical and scalable approach to epistemic-aware uncertainty estimation in ensemble models. An open-source implementation is available at: https://github.com/nextdevai/vge.