Fed3D: 連合 3D 物体検知

arXiv:2604.15795v1 Announce Type: new Abstract: サーバー 1 つで訓練された 3D 物体検知モデルは、自律型運転、ロボット操作、拡張現実のシナリオにおいて重要な役割を果たしています。しかし、大規模な 3D ス cenas の探求のために多ボット感知ネットワークでデプロイされる場合、既存の大部分の方法は深刻なプライバシー懸念に直面しています。また、3D データの異質性と限られた通信帯域幅のために、従来の連合学習手法を 3D 物体検知シナリオに適用することは非常に困難です。本稿では、プライバシー保持付きの分散学習を実現するためには、革新的な「連合 3D 物体検知フレームワーク（Fed3D）」を提唱する初めての試みを踏まえ、新しい Fed3D モデルを提案します。具体的には、ローカルロボットにおける不規則な入力 3D 物体とロボット間の種别配分のばらつきは、それぞれローカル異質性とグローバル異質性を生み出す可能性があります。そこで、3D データの異質性问题に対処するために、ローカル - グローバルクラス意識損失を提案し、ローカルとグローバルの観点から異なる 3D 種别の勾配伝播率をバランスさせることを目的とします。各ラウンドにおける通信コストを削減するために、フェデレーテッド 3D プロンプトモジュールを開発し、学習可能パラメータの少数のみでプロンプトを学習および通信させることが可能になりました。最後に、連合 3D 物体検知における広範な実験から、Fed3D モデルは限られたローカルトレーニングデータを提供する場合、最先端アルゴリズムを大幅に上回り、通信コストも低減しています。

arXiv:2604.15795v1 Announce Type: new Abstract: 3D object detection models trained in one server plays an important role in autonomous driving, robotics manipulation, and augmented reality scenarios. However, most existing methods face severe privacy concern when deployed on a multi-robot perception network to explore large-scale 3D scene. Meanwhile, it is highly challenging to employ conventional federated learning methods on 3D object detection scenes, due to the 3D data heterogeneity and limited communication bandwidth. In this paper, we take the first attempt to propose a novel Federated 3D object detection framework (i.e., Fed3D), to enable distributed learning for 3D object detection with privacy preservation. Specifically, considering the irregular input 3D object in local robot and various category distribution between robots could cause local heterogeneity and global heterogeneity, respectively. We then propose a local-global class-aware loss for the 3D data heterogeneity issue, which could balance gradient back-propagation rate of different 3D categories from local and global aspects. To reduce communication cost on each round, we develop a federated 3D prompt module, which could only learn and communicate the prompts with few learnable parameters. To the end, several extensive experiments on federated 3D object detection show that our Fed3D model significantly outperforms state-of-the-art algorithms with lower communication cost when providing the limited local training data.