潜在空間における構成則普遍化を、意味相互作用情報（SII）が媒介する

arXiv:2603.27134v4 発表型：置換 要旨：すべての関連変数が既知になった後、依然として普遍化の障壁が残っているのか？ 本稿は、構成則普遍化をパラメータ化された相互作用を伴う潜在変数に対する変分推論の問題として捉える枠組みを通じてこの問いに答えます。探索为此，我々が「認知グリッドワールド（Cognitive Gridworld）」という静的部分観測マルコフ決定過程（POMDP）を開発しました。この POMDP では、観測は複数の潜在変数によって共同生成されますが、フィードバックは単一の目標変数に対してのみ提供されます。この設定により、タスクのパフォーマンスにおける潜在変数の相互作用の寄与を計測する指標である「意味相互作用情報（SII）」を定義できました。SII を用いて、これらの相互作用を持たせられた再帰型ニューラルネットワーク（RNN）を分析した結果、SII がエコー状態ネットワークと完全に訓練されたネットワークの間にある精度ギャップを説明するものであることを発見しました。また、我々の分析は、信頼性が精度と分離する理論的に予測された失敗モードを発見し、関連変数間の相互作用の利用が非自明的能力であることを示唆しています。 その後、埋め込みモデルによって相互作用を学習しなければならないというより難しい領域に対するアプローチを行いました。潜在変数がどう相互作用するかを学習させるには正確な推論が必要ですが、正確な推論はそれらの相互作用を知ることには依存します。Cognitive Gridworld は、これが継続的メタ学習における核心的な課題であることを、この循環的な依存関係として明らかにしました。我々は、これらのジレンマに対するアプローチとして、変数推論と変数埋め込みがそれぞれ強化学習と自己完備学習によって別々のモジュールによって学習されるようにこれらプロセスを分離する JEPA スタイルのアーキテクチャである「表現分類チェーン（RCC）」を用いました。最後に、RCCs が新たな関連変数の組み合わせに対する構成則普遍化を可能にすることを示しました。これら全ての結果は、目標指向型普遍エージェントを評価するための基礎的な設定を確立しました。

arXiv:2603.27134v4 Announce Type: replace Abstract: Are there still barriers to generalization once all relevant variables are known? We address this question via a framework that casts compositional generalization as a variational inference problem over latent variables with parametric interactions. To explore this, we develop the Cognitive Gridworld, a stationary Partially Observable Markov Decision Process (POMDP) where observations are generated jointly by multiple latent variables, yet feedback is provided for only a single goal variable. This setting allows us to define Semantic Interaction Information (SII): a metric measuring the contribution of latent variable interactions to task performance. Using SII, we analyze Recurrent Neural Networks (RNNs) provided with these interactions, finding that SII explains the accuracy gap between Echo State and Fully Trained networks. Our analysis also uncovers a theoretically predicted failure mode where confidence decouples from accuracy, suggesting that utilizing interactions between relevant variables is a non-trivial capability. We then address a harder regime where the interactions must be learned by an embedding model. Learning how latent variables interact requires accurate inference, yet accurate inference depends on knowing those interactions. The Cognitive Gridworld reveals this circular dependence as a core challenge for continual meta-learning. We approach this dilemma via Representation Classification Chains (RCCs), a JEPA-style architecture that disentangles these processes: variable inference and variable embeddings are learned by separate modules through Reinforcement Learning and self-supervised learning, respectively. Lastly, we demonstrate that RCCs facilitate compositional generalization to novel combinations of relevant variables. Together, these results establish a grounded setting for evaluating goal-directed generalist agents.