予測符号ネットワークの無限的な幅と深度の限界について

arXiv:2602.07697v1 発表タイプ: 新しい 要旨: 予測符号（PC）は、標準的なバックプロパゲーション（BP）への生生物学的合理的な代替であり、重みを更新する前にネットワークの活動に対してエネルギー関数を最小化します。最近の研究は、BP による再パラメトリゼーションを活用することで、深層 PC ネットワーク（PCN）のトレーニング安定性を向上させています。しかし、これらのアプローチの完全な拡張性と理論的基礎はまだ不明確です。これに対応するため、本稿では PCN の無限的な幅と深度の限界を調べます。線形残差ネットワークについては、PC の幅と深度に安定した特徴学習パラメトリゼーションの集合は、BP と完全に同一であるという結果を示しました。さらに、これらのパラメトリゼーションの下では、活動が均衡状態にある場合、モデルの幅が深度に比べて非常に大きい regimes では PC エネルギーは BP の損失に収束し、PC は BP と同じ勾配を計算することがわかっています。実験により、これらの結果は深層の非線形ネットワークでも、活動の均衡が達成されている限り実践的に成り立つことが示されました。総合的には、本研究は過去の各種理論的および実証的結果を統合し、PCN のスケーリングに対して潜在的に重要な示唆を提供します。

arXiv:2602.07697v1 Announce Type: new Abstract: Predictive coding (PC) is a biologically plausible alternative to standard backpropagation (BP) that minimises an energy function with respect to network activities before updating weights. Recent work has improved the training stability of deep PC networks (PCNs) by leveraging some BP-inspired reparameterisations. However, the full scalability and theoretical basis of these approaches remains unclear. To address this, we study the infinite width and depth limits of PCNs. For linear residual networks, we show that the set of width- and depth-stable feature-learning parameterisations for PC is exactly the same as for BP. Moreover, under any of these parameterisations, the PC energy with equilibrated activities converges to the BP loss in a regime where the model width is much larger than the depth, resulting in PC computing the same gradients as BP. Experiments show that these results hold in practice for deep nonlinear networks, as long as an activity equilibrium seem to be reached. Overall, this work unifies various previous theoretical and empirical results and has potentially important implications for the scaling of PCNs.