データドリフトへの適応による Federated Learning クライアントのクラスタリング

arXiv:2411.01580v3 発表形式：置換 要旨：Federated Learning（FL）は、中央データセンターに生データを集めずにエッジデバイス間で深度モデルを学習させ、ユーザーのプライバシーを保全します。しかし、クライアント間の異質性（heterogeneity）は収束を遅くし、グローバルモデルの精度の上限を制限します。Clustered FL（CFL）は、類似した表現を持つクライアントをグループ化し、各クラスター用の別個のモデルを学習することでこれを緩和します。実務上、クライアントデータは時間とともに進化する現象、すなわちデータドリフト（data drift）が発生し、クラスターの同質性を破壊してパフォーマンスを低下させます。データドリフトには、出力値の変化、入力特徴の変化、あるいはそれらの関係の変化による不同类型的があります。FIELDING と称する CFL フレームワークを提案し、様々なタイプのデータドリフトに対応しつつ低オーバーヘッドを実現します。FIELDING は個別のクライアントでドリフトを検出し、クラスターの品質とモデルのパフォーマンスのバランスを取りながら選択的に再クラスタリングを実行し、悪意のあるクライアントや異なるレベルの異質性にも対応可能です。実験結果では、FIELDING が最終モデルの精度を 1.9-5.9% 向上させ、既存の最先进 CFL メソッドに対して目標精度を 1.16 倍から 2.23 倍早く達成することを示しました。

arXiv:2411.01580v3 Announce Type: replace Abstract: Federated Learning (FL) trains deep models across edge devices without centralizing raw data, preserving user privacy. However, client heterogeneity slows down convergence and limits global model accuracy. Clustered FL (CFL) mitigates this by grouping clients with similar representations and training a separate model for each cluster. In practice, client data evolves over time, a phenomenon we refer to as data drift, which breaks cluster homogeneity and degrades performance. Data drift can take different forms depending on whether changes occur in the output values, the input features, or the relationship between them. We propose FIELDING, a CFL framework for handling diverse types of data drift with low overhead. FIELDING detects drift at individual clients and performs selective re-clustering to balance cluster quality and model performance, while remaining robust to malicious clients and varying levels of heterogeneity. Experiments show that FIELDING improves final model accuracy by 1.9-5.9% and achieves target accuracy 1.16x-2.23x faster than existing state-of-the-art CFL methods.