Deep Learning と Transformer を用いた行列関数の近似化

arXiv:2602.07800v1 Announce Type: new Abstract: Transformer は自然言語処理に革命をもたらしましたが、数値計算への適用についてはあまり注目されていません。私たちは、ニューラルネットワーク（特に Transformer）を用いた行列関数の近似について研究します。ここで扱う行列関数は、スカラー関数を行列に変換するものです。我々の焦点は、同じ次数の二乗行列を二乗行列へ写像する関数です。このような行列関数は科学計算全体に登場しており、例えば時間連続型マルコフ連鎖における行列指数関数や、動的システムの安定性解析における行列符号関数などが該当します。本論文では 2 つの貢献を示します。第一に、任意の精度で行列指数関数を近似するために必要な ReLU ネットワークの幅と深さの境界を証明しました。第二に、適切な数値符号化を持つ Transformer エンコーダー・ディコーダーが、ある行列関数を相対誤差 5% 以内で高確率で近似できることを実証しました。我々の研究は、符号化 schemes へのパフォーマンスへの強い影響を明らかにしており、異なる schemes は異なる関数にとってより優れています。

arXiv:2602.07800v1 Announce Type: new Abstract: Transformers have revolutionized natural language processing, but their use for numerical computation has received less attention. We study the approximation of matrix functions, which map scalar functions to matrices, using neural networks including transformers. We focus on functions mapping square matrices to square matrices of the same dimension. These types of matrix functions appear throughout scientific computing, e.g., the matrix exponential in continuous-time Markov chains and the matrix sign function in stability analysis of dynamical systems. In this paper, we make two contributions. First, we prove bounds on the width and depth of ReLU networks needed to approximate the matrix exponential to an arbitrary precision. Second, we show experimentally that a transformer encoder-decoder with suitable numerical encodings can approximate certain matrix functions at a relative error of 5% with high probability. Our study reveals that the encoding scheme strongly affects performance, with different schemes working better for different functions.