Successor 表現を用いた階層的なアクティブ・インフェレーション

arXiv:2604.15679v1 Announce Type: cross 要旨：脳に由来するモデルであり、自由エネルギー原理（FEP）に基づいて行動を推測するアクティブ・インフェレーションは、脳の知覚、行動、学習の統一する枠組みとして提案されています。アクティブ・インフェレーションは、導航や計画など生え重要なタスクをモデル化するために以前から利用されてきましたが、現実世界の複雑で大規模な問題を解決するためのスケールアップは依然として課題となっています。脳内のマルチスカラー階層的表現の存在をヒントに、階層的なアクティブ・インフェレーションに基づく行動計画のモデルを提案します。私たちのアプローチは、環境の階層的モデルと効率的な計画のための后继表現（successor representations）を組み合わせます。われわれは、以下の結果を示します：(1) ローカルな后继表現が上位の抽象状態を学習する方法、(2) ローカルなアクティブ・インフェレーションに基づく計画が上位の抽象行動をボウタイップ（bootsrap）し学習する方法、(3) 学習されたこれらの上位の抽象状態と行動が効率的な計画を支援する方法。われわれは、このアプローチのパフォーマンスを、有名な 4 つの部屋の問題のバリエーション、キーに基づく導航タスク、部分観測計画問題、マウンテンカー問題、連続状態および行動空間を持つ導航タスクの家族である PointMaze、を含む複数の計画と強化学習（RL）の問題で実証しました。われわれの結果は、知識によると、FEP に基づく脳の機能理論において、学習された階層的状態および行動の抽象化をアクティブ・インフェレーションに初めて適用したものです。

arXiv:2604.15679v1 Announce Type: cross Abstract: Active inference, a neurally-inspired model for inferring actions based on the free energy principle (FEP), has been proposed as a unifying framework for understanding perception, action, and learning in the brain. Active inference has previously been used to model ecologically important tasks such as navigation and planning, but scaling it to solve complex large-scale problems in real-world environments has remained a challenge. Inspired by the existence of multi-scale hierarchical representations in the brain, we propose a model for planning of actions based on hierarchical active inference. Our approach combines a hierarchical model of the environment with successor representations for efficient planning. We present results demonstrating (1) how lower-level successor representations can be used to learn higher-level abstract states, (2) how planning based on active inference at the lower-level can be used to bootstrap and learn higher-level abstract actions, and (3) how these learned higher-level abstract states and actions can facilitate efficient planning. We illustrate the performance of the approach on several planning and reinforcement learning (RL) problems including a variant of the well-known four rooms task, a key-based navigation task, a partially observable planning problem, the Mountain Car problem, and PointMaze, a family of navigation tasks with continuous state and action spaces. Our results represent, to our knowledge, the first application of learned hierarchical state and action abstractions to active inference in FEP-based theories of brain function.