ネットワーク状況認識と階層的多エージェント強化学習に基づくオーバーレイマルチキャストルーティング手法

arXiv:2602.13211v2 Announce Type: replace-cross Abstract: IP マルチキャストと比較して、オーバーレイマルチキャスト（OM）は非均質かつクロスドメインなネットワークにおいて、より高い互換性と柔軟な展開を実現します。しかし、従来の OM 手法は物理リソースの状態を認識していないため、動的トラフィックに適応できず、既存の強化学習手法は OM の密接に絡み合ったマルチ目的性を分離できず、高い計算量、緩やかな収束、不安定性を招いています。これに答えて、私たちは「MA-DHRL-OM」と呼ぶ、マルチエージェント深層階層強化学習手法を提案しました。SDN のглобалな視点を利用し、OM パス规划のためのトラフィック認識モデルを構築します。この手法は階層エージェントを通じて OM ツリー構築を 2 つの段階に分解し、アクション空間を減らし、収束の安定性を向上させます。マルチエージェントによる協調はマルチ目的最適化をバランス化しつつ、スケーラビリティと適応性を高めます。実験結果は、MA-DHRL-OM が既存の手法よりも遅延、帯域幅利用率、パケット損失において優れ、より安定した収束と柔軟なルーティングを示したことを示しています。

arXiv:2602.13211v2 Announce Type: replace-cross Abstract: Compared with IP multicast, Overlay Multicast (OM) offers better compatibility and flexible deployment in heterogeneous, cross-domain networks. However, traditional OM struggles to adapt to dynamic traffic due to unawareness of physical resource states, and existing reinforcement learning methods fail to decouple OM's tightly coupled multi-objective nature, leading to high complexity, slow convergence, and instability. To address this, we propose MA-DHRL-OM, a multi-agent deep hierarchical reinforcement learning approach. Using SDN's global view, it builds a traffic-aware model for OM path planning. The method decomposes OM tree construction into two stages via hierarchical agents, reducing action space and improving convergence stability. Multi-agent collaboration balances multi-objective optimization while enhancing scalability and adaptability. Experiments show MA-DHRL-OM outperforms existing methods in delay, bandwidth utilization, and packet loss, with more stable convergence and flexible routing.