空間物理学への学習における解釈可能性と一般化境界

arXiv:2506.15199v2 Announce Type: replace Abstract: 科学的問題への機械学習（ML）の適用は多くの有望な応用例が存在するものの、視覚的データは欺瞞性を示すことがあります。数値解析的手法を用いることで、パラメータ発見や解の探索に適用された特定の ML モデルの精度、収束率、および一般化境界を厳密に定量化しました。データの数値と離散化を超えて、モデルの一般化においてデータ関数空間が重要な役割を果たすことが特定されました。この一般化の欠如は、物理系専用の技法を含む常用的なモデルにも経験的に実証されています。逆説的に、異なるモデルクラスが対照的な一般化振る舞いを示すことが分かりました。我々の理論的分析に基づき、グリーン関数の表現がブラックボックスモデルの重みから抽出可能であることを踏まえ、科学的モデルに対する新しい機能的解釈可能性の枠組みを導入しました。我々の結果は、物理システムの一般化を測るための新しいクロスバリデーション技法を提示し、ベンチマークとして機能することを示しています。

arXiv:2506.15199v2 Announce Type: replace Abstract: While there are many applications of ML to scientific problems that look promising, visuals can be deceiving. Using numerical analysis techniques, we rigorously quantify the accuracy, convergence rates, and generalization bounds of certain ML models applied to linear differential equations for parameter discovery or solution finding. Beyond the quantity and discretization of data, we identify that the function space of the data is critical to the generalization of the model. A similar lack of generalization is empirically demonstrated for commonly used models, including physics-specific techniques. Counterintuitively, we find that different classes of models can exhibit opposing generalization behaviors. Based on our theoretical analysis, we also introduce a new mechanistic interpretability lens on scientific models whereby Green's function representations can be extracted from the weights of black-box models. Our results inform a new cross-validation technique for measuring generalization in physical systems, which can serve as a benchmark.