ジブスアルゴリズムによる分散型機械学習における中央集権型パフォーマンス保証

arXiv:2604.20492v1 Announce Type: cross 本稿では、局所データセットを共有することなく分散型学習において中央集権型パフォーマンスを達成できることが、初めて示されました。具体的には、クライアントが相対エントロピー正則化（ERM-RER）を持つ経験リスク最小化学習枠組みを採用し、クライアント間の前向き・後向き通信が確立されたとき、すべてのデータセットへのアクセスを持つ中央集権型 ERM-RER と同等のパフォーマンスを実現するには、局所獲得したジブス測度を共有するだけで十分です。この核心的アイデアは、クライアント $k$ によって生み出されたジブス測度を、クライアント $k+1$ が参照測度として利用することであり、これにより先行情報を参照測度を介して原理的にエンコードする方法が確立されます。特に、分散型設定における中央集権型パフォーマンスを達成するには、正則化係数が局所サンプルサイズに特有のスケールでなければなりません。総合的に見ると、この結果は、参照測度を介したモデルの集合上でインダクティブバイアスを共有するという戦略から、データの共有へと協調戦略をシフトさせる、新たな分散型学習パラダイムへの扉を開きます。

arXiv:2604.20492v1 Announce Type: cross Abstract: In this paper, it is shown, for the first time, that centralized performance is achievable in decentralized learning without sharing the local datasets. Specifically, when clients adopt an empirical risk minimization with relative-entropy regularization (ERM-RER) learning framework and a forward-backward communication between clients is established, it suffices to share the locally obtained Gibbs measures to achieve the same performance as that of a centralized ERM-RER with access to all the datasets. The core idea is that the Gibbs measure produced by client~$k$ is used, as reference measure, by client~$k+1$. This effectively establishes a principled way to encode prior information through a reference measure. In particular, achieving centralized performance in the decentralized setting requires a specific scaling of the regularization factors with the local sample sizes. Overall, this result opens the door to novel decentralized learning paradigms that shift the collaboration strategy from sharing data to sharing the local inductive bias via the reference measures over the set of models.