Federated Balanced Learning

arXiv:2601.14042v2 Announce Type: replace 要約：Federated（フェデレーテッド）ラーニングは、データではなくモデルパラメータの共有を通じてクライアントが協働する共同学習のパラダイムです。しかし、非-iid設定では、グローバルモデルがクライアントのドリフトを経験し、最終的なモデルパフォーマンスに深刻な影響を与える可能性があります。従来の手法は、損失関数や勾配に基づいて既に偏差が生じたグローバルモデルを修正する傾向にあり、クライアントサンプルの影響を見過ごすことが多いです。本論文では、クライアントサイドの役割を見直し、サンプルバランスをクライアントサイドで実施することで、この問題を最初から防止する Federated Balanced Learning（FBL）を提案します。技術的には、FBL は固定されたクライアントサイドデータサンプル数の制約下で、エッジサイド生成モデルを用いた知識充填と知識サンプリングを通じて、クライアントサイドの非バランスデータでもサンプルバランスを実現します。さらに、合成データと現実データの間を架ける Knowledge Alignment Strategy を設計し、我々の方法を実装するための Knowledge Drop Strategy を考案しました。同時に、我々は異なるクライアントが様々な方法を採用できる現実的で複雑なシナリオにスケールさせ、フレームワークを拡張してパフォーマンスをさらに向上させました。多数の実験結果により、我々の方法が State-of-the-Art のベースラインを凌駕することが示されました。コードは承認後にリリースされます。

arXiv:2601.14042v2 Announce Type: replace Abstract: Federated learning is a paradigm of joint learning in which clients collaborate by sharing model parameters instead of data. However, in the non-iid setting, the global model experiences client drift, which can seriously affect the final performance of the model. Previous methods tend to correct the global model that has already deviated based on the loss function or gradient, overlooking the impact of the client samples. In this paper, we rethink the role of the client side and propose Federated Balanced Learning, i.e., FBL, to prevent this issue from the beginning through sample balance on the client side. Technically, FBL allows unbalanced data on the client side to achieve sample balance through knowledge filling and knowledge sampling using edge-side generation models, under the limitation of a fixed number of data samples on clients. Furthermore, we design a Knowledge Alignment Strategy to bridge the gap between synthetic and real data, and a Knowledge Drop Strategy to regularize our method. Meanwhile, we scale our method to real and complex scenarios, allowing different clients to adopt various methods, and extend our framework to further improve performance. Numerous experiments show that our method outperforms state-of-the-art baselines. The code is released upon acceptance.