最小注意力に基づくメタ強化学習

arXiv:2505.16741v3 Announce Type: replace Abstract: 最小注意力（Minimum attention）は、状態と時間に関する制御変化に最小作用の原理を適用した概念であり、最初には Brockett によって提案された。関与する正則化は、運動学習のような生物学的制御を模倣する際に非常に関連性が高い。我々は最小注意力を強化学習（RL）の報酬の一部として適用し、メタ学習および安定化との関連性を調査した。具体的には、最小注意力を基礎としたモデルベースのメタ学習が高次元非線形ダイナミクスにおいて探索された。アンサンブルベースのモデル学習と勾配ベースのメタポリシー学習は交互に実行された。経験的に、最小注意力は、モデルフリーおよびモデルベースの RL の最先端アルゴリズムに比べて優れている能力を示した。つまり、少量の試行で急速な適応、およびモデルおよび環境の乱れによる分散の低減である。さらに、最小注意力はエネルギー効率の向上を示した。

arXiv:2505.16741v3 Announce Type: replace Abstract: Minimum attention applies the least action principle in the changes of control concerning state and time, first proposed by Brockett. The involved regularization is highly relevant in emulating biological control, such as motor learning. We apply minimum attention in reinforcement learning (RL) as part of the rewards and investigate its connection to meta-learning and stabilization. Specifically, model-based meta-learning with minimum attention is explored in high-dimensional nonlinear dynamics. Ensemble-based model learning and gradient-based meta-policy learning are alternately performed. Empirically, the minimum attention does show outperforming competence in comparison to the state-of-the-art algorithms of model-free and model-based RL, i.e., fast adaptation in few shots and variance reduction from the perturbations of the model and environment. Furthermore, the minimum attention demonstrates an improvement in energy efficiency.