アダプティブな交通信号制御のためのフェデレーテッド階層強化学習

arXiv:2504.05553v2 発表タイプ: 置換 抽象：マルチエージェント強化学習（MARL）は、複数の交差点がリアルタイムで信号のタイミングを調整するアダプティブな交通信号制御（ATSC）において可能性を示しており、大規模な環境ではMARLは広範なデータ共有と通信要件により制約を受けます。フェデレーテッド学習（FL）は、生データを直接交換せずに共有モデルをトレーニングすることでこれらの課題を軽減しますが、伝統的なFL手法（例：FedAvg）は高度に異質である交差点に対して困難を覚えます。異なる交差点は、異なる交通パターン、需要、および道路構造を示すため、すべてのエージェントに対してFedAvgを実行する効率的ではありません。このギャップに対処するため、私達はATSCのための階層フェデレーテッド強化学習（HFRL）を提案します。HFRLは、クラスタリングベースまたは最適化ベースの手法を採用し、類似の特性を持つ交差点のグループ内でFedAvgを独立して実行するように動的に交差点をグループ化し、標準FedAvgよりもより効果的な調整性とスケーラビリティを実現します。我々の実験的合成および現実的な交通ネットワークにおいて、HFRLは分散型および標準的なフェデレーテッドRLアプローチを常に上回り、ネットワークスケールと異質性が増加するにつれて中央集権RLと比較して競争力のある、あるいは優れたパフォーマンスを達成し、特に現実的な設定において卓越します。この手法は、ネットワーク構造または交通需要に基づいて適切なグループ化パターンを特定し、分散型および異質システムのためのより頑健なフレームワークをもたらします。

arXiv:2504.05553v2 Announce Type: replace Abstract: Multi-agent reinforcement learning (MARL) has shown promise for adaptive traffic signal control (ATSC), enabling multiple intersections to coordinate signal timings in real time. However, in large-scale settings, MARL faces constraints due to extensive data sharing and communication requirements. Federated learning (FL) mitigates these challenges by training shared models without directly exchanging raw data, yet traditional FL methods such as FedAvg struggle with highly heterogeneous intersections. Different intersections exhibit varying traffic patterns, demands, and road structures, so performing FedAvg across all agents is inefficient. To address this gap, we propose Hierarchical Federated Reinforcement Learning (HFRL) for ATSC. HFRL employs clustering-based or optimization-based techniques to dynamically group intersections and perform FedAvg independently within groups of intersections with similar characteristics, enabling more effective coordination and scalability than standard FedAvg.Our experiments on synthetic and real-world traffic networks demonstrate that HFRL consistently outperforms decentralized and standard federated RL approaches, and achieves competitive or superior performance compared to centralized RL as network scale and heterogeneity increase, particularly in real-world settings. The method also identifies suitable grouping patterns based on network structure or traffic demand, resulting in a more robust framework for distributed, heterogeneous systems.