Differentially Private Model Merging

arXiv:2604.20985v1 Announce Type: cross 抽象：機械学習アプリケーションにおいて、推論やデプロイ時のプライバシー要件は、多様なポリシーや規制、ユーザーエクスペリエンスの変化に応じて常に変化する可能性があります。本稿では、既存のモデルセット（同じデータセット上で、異なるプライバシーとユーティリティのトレードオフが設定されたモデル）を前提として、追加のトレーニングステップなしに、任意の目標的差分プライバシー (DP) 要件を満たす複数のモデルを生成することを目的としています。最終的なプライバシーモデルを出力するためには、ランダム選択と線形結合の 2 つのポストプロセシング手法を提案しました。これらは一般の問題に対して R'enyi DP の観点から、およびプライバシー損失分布に基づいてプライバシー計量を提供します。プライバシー平均推定に関するケーススタディでは、プライバシーとユーティリティの結果を完全に特徴付け、線形結合がランダム選択に優れることを理論的に確立しました。実証的には、合成データセットとリアルワールドデータセットの両方で、複数のモデルに対してアプローチと解析を検証しました。

arXiv:2604.20985v1 Announce Type: cross Abstract: In machine learning applications, privacy requirements during inference or deployment time could change constantly due to varying policies, regulations, or user experience. In this work, we aim to generate a magnitude of models to satisfy any target differential privacy (DP) requirement without additional training steps, given a set of existing models trained on the same dataset with different privacy/utility tradeoffs. We propose two post processing techniques, namely random selection and linear combination, to output a final private model for any target privacy parameter. We provide privacy accounting of these approaches from the lens of R'enyi DP and privacy loss distributions for general problems. In a case study on private mean estimation, we fully characterize the privacy/utility results and theoretically establish the superiority of linear combination over random selection. Empirically, we validate our approach and analyses on several models and both synthetic and real-world datasets.