Calibeating: 予備精度に備え、推論を強化する推論法

arXiv:2604.21260v1 発表タイプ：クロス 要約：ここでは、ラベル付きデータが少なく、ラベルなしデータが多く、かつ出力が正規化されていない可能性があるブラックボックス予備モデルを用いた半監督平均推計を研究する。この設定において標準的なアプローチは、逆確率加重法（IPW）の拡張版（AIPW）[Robins et al., 1994] で、予備モデルの仕様誤りに対する防御は可能であるが、予備スコアが結果のスケールと整合性が低い場合、効率が低下する可能性がある。我々は、推論前のラベル付きデータで予備スコアを後処理によって正規化する「Calibrated Prediction-Powered Inference（Calibeating）」を導入し、これを半監督推計に活用する。この単純なステップは再学習を必要とせず、予備結果の予測精度と、半監督推論における回帰調整の両面において元のスコアを向上させる可能性がある。線形正規化および等間隔正規化の両方を研究した。等間隔正規化については、一次元優位性の保証を確立し、元のスコアや単純な後処理ルールに対する予測精度と推定量の効率を向上させることが可能であることを示し、適合された等間隔スコアに対する追加の後処理は、一次元の追加的な利点を生成しないことも示した。線形正規化については、PPI++（Prediction-Powered Inference ++）との一次元同値性を示した。既存の推定量間の関係も明確にし、元の PPI 推定量は AIPW の特殊ケースであり、予備モデルが正確である場合は非効率的である可能性がある一方、PPI++ は AIPW であり、経験的効率最大化 [Rubin et al., 2008] を持つことを示した。シミュレーションおよび現実データの試験において、我々の正規化された推定量は PPI をしばしば超越し、AIPW や PPI++ と同程度あるいはそれを超えている。伴同する Python パッケージ「ppi_aipw」を https://larsvanderlaan.github.io/ppi-aipw/ に提供した。

arXiv:2604.21260v1 Announce Type: cross Abstract: We study semisupervised mean estimation with a small labeled sample, a large unlabeled sample, and a black-box prediction model whose output may be miscalibrated. A standard approach in this setting is augmented inverse-probability weighting (AIPW) [Robins et al., 1994], which protects against prediction-model misspecification but can be inefficient when the prediction score is poorly aligned with the outcome scale. We introduce Calibrated Prediction-Powered Inference, which post-hoc calibrates the prediction score on the labeled sample before using it for semisupervised estimation. This simple step requires no retraining and can improve the original score both as a predictor of the outcome and as a regression adjustment for semisupervised inference. We study both linear and isotonic calibration. For isotonic calibration, we establish first-order optimality guarantees: isotonic post-processing can improve predictive accuracy and estimator efficiency relative to the original score and simpler post-processing rules, while no further post-processing of the fitted isotonic score yields additional first-order gains. For linear calibration, we show first-order equivalence to PPI++. We also clarify the relationship among existing estimators, showing that the original PPI estimator is a special case of AIPW and can be inefficient when the prediction model is accurate, while PPI++ is AIPW with empirical efficiency maximization [Rubin et al., 2008]. In simulations and real-data experiments, our calibrated estimators often outperform PPI and are competitive with, or outperform, AIPW and PPI++. We provide an accompanying Python package, ppi_aipw, at https://larsvanderlaan.github.io/ppi-aipw/.