Spectral Gating Networks

arXiv:2602.07679v1 Announce Type: new 摘要：ゲート機構は至るところに見られますが、前向きネットワークにおける補完的な問いが十分に研究されていません。それは、安定性とスケーラビリティを犠牲にしてはいないかながら、周波数豊かな表現力をどのように導入すべきかという問いです。この緊張関係は、グリッドの细化をパラメータ増加と高精度な最適化の脆弱性を引き起こすスプラインに基づく Kolmogorov-Arnold Network (KAN) パラメータ化によって露出されます。固定されたパラメータ量とトレーニング予算の制約下で、既存の MLP/FFN レイヤーに周波数容量を注入する安定性を保つ方法を提供するため、私たちは Spectral Gating Networks (SGN) を導入しました。SGN は、標準的な活性化経路にコンパクトな周波数経路と学習可能なゲートを追加する、ドロップインのスペクトル再パラメータ化です。SGN は、モデルを安定なベース動作から始めて、トレーニング中は周波数特徴に能力を段階的に割り当てることを可能にする学習可能なゲートを含む、標準的な活性化経路を強化します。スペクトル経路は、トレーニング可能な Random Fourier Features（学習された周波数とフェーズ）で実装され、グリッドベースのスプラインを置き換え、解像度の依存性を除去します。さらに、ハイブリッドの GELU-Fourier 形式によって最適化の頑健性が向上し、高周波数の忠実性が強化されます。視覚処理、自然言語処理、オーディオ、および PDE ベンチマークにおいて、SGN は同等の計算予算の下で精度と効率性のトレードオフを一貫して改善し、CIFAR-10 では 93.15% の精度、スプラインベースの KAN バージョンよりも最大 11.7 倍の高速推論を実現しました。コードとトレーニングされたモデルも公開予定となります。

arXiv:2602.07679v1 Announce Type: new Abstract: Gating mechanisms are ubiquitous, yet a complementary question in feed-forward networks remains under-explored: how to introduce frequency-rich expressivity without sacrificing stability and scalability? This tension is exposed by spline-based Kolmogorov-Arnold Network (KAN) parameterizations, where grid refinement can induce parameter growth and brittle optimization in high dimensions. To propose a stability-preserving way to inject spectral capacity into existing MLP/FFN layers under fixed parameter and training budgets, we introduce Spectral Gating Networks (SGN), a drop-in spectral reparameterization. SGN augments a standard activation pathway with a compact spectral pathway and learnable gates that allow the model to start from a stable base behavior and progressively allocate capacity to spectral features during training. The spectral pathway is instantiated with trainable Random Fourier Features (learned frequencies and phases), replacing grid-based splines and removing resolution dependence. A hybrid GELU-Fourier formulation further improves optimization robustness while enhancing high-frequency fidelity. Across vision, NLP, audio, and PDE benchmarks, SGN consistently improves accuracy-efficiency trade-offs under comparable computational budgets, achieving 93.15% accuracy on CIFAR-10 and up to 11.7x faster inference than spline-based KAN variants. Code and trained models will be released.