Dense Neural Networks are not Universal Approximators

arXiv:2602.07618v1 発表 タイプ：新 摘要：われわれは、密集型ニューラルネットワークの近似能力を調査した。一般化近似定理は、重み値の制限がない場合に、十分大きなアーキテクチャは任意の連続関数を近似できることを確立するが、われわれは密集型ニューラルネットワークがこのような普遍性を備えていないことを示した。わが議論は、弱相則と、前馈ネットワークをメッセージ伝達型グラフニューラルネットワークとして解釈する点を組み合わせたモデル圧縮アプローチに基づいている。われわれは、重みおよび入出力次元に関する自然な制約下にある ReLU ニューラルネットワークを考察し、これは密集型接続の概念をモデル化する。この設定において、そのようなネットワークによって近似されえない Lipschitz 連続関数の存在を示した。これは、密集層を持つニューラルネットワークの内在的な限界を浮き彫りにし、真の普遍性を達成するために疎接続が不可欠であることを示唆している。

arXiv:2602.07618v1 Announce Type: new Abstract: We investigate the approximation capabilities of dense neural networks. While universal approximation theorems establish that sufficiently large architectures can approximate arbitrary continuous functions if there are no restrictions on the weight values, we show that dense neural networks do not possess this universality. Our argument is based on a model compression approach, combining the weak regularity lemma with an interpretation of feedforward networks as message passing graph neural networks. We consider ReLU neural networks subject to natural constraints on weights and input and output dimensions, which model a notion of dense connectivity. Within this setting, we demonstrate the existence of Lipschitz continuous functions that cannot be approximated by such networks. This highlights intrinsic limitations of neural networks with dense layers and motivates the use of sparse connectivity as a necessary ingredient for achieving true universality.