Feature Learning と Unlearning の二律背反：Stochastic Gradient Descent を用いたニューラルネットワークにおける Fast-Slow 解析

arXiv:2602.07378v1 Announce Type: new Abstract: ニューラルネットワークの勾配ベーストレーニングのダイナミクスはしばしば非自明な構造を示し、それが理解されることは理論機械学習の中心的課題である。特に、長いトレーニングの過程で以前学習された特徴を失っていく「feature unlearning」の概念は注目を集めている。本研究では、大バッチのランダム勾配降下法で更新される 2 層ニューラルネットワークの無限広幅極限を考案し、異なる時間スケールを持つ微分方程式を導き、feature unlearning が発生するメカニズムと条件を明らかにした。具体的には、Fast-Slow dynamics を利用し、1 層の重みの整合は急速に進む一方、2 層の重みはゆっくりと進んでいくとする。その上で、critical manifold における流れの方向は、slow dynamics によって決まり、それが feature unlearning を起こすかどうかを決定する。我々は結果の数値的検証を行い、feature unlearning の理論的裏付けとスケーリング則を導出した。我々の研究は、(i) データにおける一次非線形項の強さが feature unlearning を誘発し、(ii) 2 層の重みの初期スケールが feature unlearning を緩和することを示している。技術的には、我々の解析はテンソルプログラムと_singular perturbation theory_を適用した。

arXiv:2602.07378v1 Announce Type: new Abstract: The dynamics of gradient-based training in neural networks often exhibit nontrivial structures; hence, understanding them remains a central challenge in theoretical machine learning. In particular, a concept of feature unlearning, in which a neural network progressively loses previously learned features over long training, has gained attention. In this study, we consider the infinite-width limit of a two-layer neural network updated with a large-batch stochastic gradient, then derive differential equations with different time scales, revealing the mechanism and conditions for feature unlearning to occur. Specifically, we utilize the fast-slow dynamics: while an alignment of first-layer weights develops rapidly, the second-layer weights develop slowly. The direction of a flow on a critical manifold, determined by the slow dynamics, decides whether feature unlearning occurs. We give numerical validation of the result, and derive theoretical grounding and scaling laws of the feature unlearning. Our results yield the following insights: (i) the strength of the primary nonlinear term in data induces the feature unlearning, and (ii) an initial scale of the second-layer weights mitigates the feature unlearning. Technically, our analysis utilizes Tensor Programs and the singular perturbation theory.