モデル内省を用いた強化学習における効率的な計画立案

arXiv:2602.07719v1 Announce Type: new Abstract: 強化学習と古典的計画立案は、通常は異なる形式を必要とする二つの独立した問題と見なされています。しかし、人間にタスクが割り当てられる限り、その指定方法に関わらず、効率的な問題解決に必要な追加情報を導き出すことができます。この能力の鍵は内省であり、人間は問題の内部モデルについて推論することで、タスクに関連する追加情報を直接総合します。本論文では、この内省をプログラム解析と考えることを提案します。我々は、この手法が強化学習で用いられるさまざまな種類のモデルに適用できる例を考察し、次に、関係論強化学習で用いられるモデルクラスにおける効率的な目的志向計画立案を可能にするアルゴリズムを記述します。これにより、強化学習と古典的計画立案の新たな関係性を示します。

arXiv:2602.07719v1 Announce Type: new Abstract: Reinforcement learning and classical planning are typically seen as two distinct problems, with differing formulations necessitating different solutions. Yet, when humans are given a task, regardless of the way it is specified, they can often derive the additional information needed to solve the problem efficiently. The key to this ability is introspection: by reasoning about their internal models of the problem, humans directly synthesize additional task-relevant information. In this paper, we propose that this introspection can be thought of as program analysis. We discuss examples of how this approach can be applied to various kinds of models used in reinforcement learning. We then describe an algorithm that enables efficient goal-oriented planning over the class of models used in relational reinforcement learning, demonstrating a novel link between reinforcement learning and classical planning.