Gaussian Kolmogorov--Arnold ネットワークのスケール拡張

arXiv:2604.21174v1 発表タイプ：横断研究 要約：高斯型 Kolmogorov--Arnold ネットワーク (KAN) の動作における高斯スケーリングパラメータ\(\epsilon\) は中心的役割を担っているが、その深層エッジに基づくアーキテクチャにおける役割は体系的に研究されていない。本研究では、1 層の特徴幾何学、条件付け、および近似挙動を通じて、\(\epsilon\) が高ス KAN に及ぼす影響を調査する。我々の中心的な観察は、スケール選択は 1 層によって主に支配されているというものであり、これは入力ドメインに直接構築される唯一の層であるため、ここで生じる識別性の喪失は後続の層で回復することはできないという事実に基づくからである。 この視点から、我々は 1 層の特徴行列を分析し、実用的な動作間隔\[ \epsilon \in \left[\frac{1}{G-1},\frac{2}{G-1}\right]\] を特定した。ここで\(G\) は高ス中心の数を表す。現在の実践で用いられている標準的な共有中心高ス KAN に対して、この間隔を普遍的な最適性結果ではなく、安定かつ効果的な設計規則として解釈し、異なる同位置密度、グリッド解像度、ネットワークアーキテクチャ、入力次元を有する関数近似問題、および物理情報型ヘルムホッツ問題の\(\epsilon\) に関するブートフォーススワイプを通じてその有効性を検証した。さらに、この範囲は固定スケーリング選択、変数スケーリング構成、\(\epsilon\) の制約トレーニング、および早期トレーニング MSE を用いた効率的なスケーリング検索に有用であることを示した。最後に、相関チベシェフ基準を用いて、適切にスケーリングされた高ス KAN が、別の標準的な KAN ベース相対にすでに精度面で競争力があることを示した。このように、本論文はスケール選択を高ス KAN の実践的な設計原則として位置づけ、ad hoc ハイパーパラメータ選択ではなくと定めた。

arXiv:2604.21174v1 Announce Type: cross Abstract: The Gaussian scale parameter \(\epsilon\) is central to the behavior of Gaussian Kolmogorov--Arnold Networks (KANs), yet its role in deep edge-based architectures has not been studied systematically. In this paper, we investigate how \(\epsilon\) affects Gaussian KANs through first-layer feature geometry, conditioning, and approximation behavior. Our central observation is that scale selection is governed primarily by the first layer, since it is the only layer constructed directly on the input domain and any loss of distinguishability introduced there cannot be recovered by later layers. From this viewpoint, we analyze the first-layer feature matrix and identify a practical operating interval, \[ \epsilon \in \left[\frac{1}{G-1},\frac{2}{G-1}\right], \] where \(G\) denotes the number of Gaussian centers. For the standard shared-center Gaussian KAN used in current practice, we interpret this interval not as a universal optimality result, but as a stable and effective design rule, and validate it through brute-force sweeps over \(\epsilon\) across function-approximation problems with different collocation densities, grid resolutions, network architectures, and input dimensions, as well as a physics-informed Helmholtz problem. We further show that this range is useful for fixed-scale selection, variable-scale constructions, constrained training of \(\epsilon\), and efficient scale search using early training MSE. Finally, using a matched Chebyshev reference, we show that a properly scaled Gaussian KAN can already be competitive in accuracy relative to another standard KAN basis. In this way, the paper positions scale selection as a practical design principle for Gaussian KANs rather than as an ad hoc hyperparameter choice.