Landscaper: マルチ次元トポロジカル解析を通じた損失風景の理解

arXiv:2602.07135v1 Announce Type: new Abstract: 損失風景（loss landscapes）は、ニューラルネットワークの最適化と一般化を理解するための強力なツールですが、従来の低次元解析では複雑なトポロジカル特徴を捉えきれない場合があります。われわれは、任意次元の損失風景解析のためのオープンソース Python パッケージである Landscaper を提案します。Landscaper は、Hessian ベースのサブ空間構築とトポロジカル解析データを組み合わせ、盆地の階層構造や接続性等の幾何学的構造を開示します。重要な要素の一つは、風景の滑らかさを定量するための Saddle-Minimum Average Distance（SMAD）です。われわれは、SMAD が従来の指標では見落とされる風景の簡化化などの学習遷移を捉えられることを示し、SMAD が訓練遷移を定量化する有効性を実証しました。また、データが不足する科学機械学習シナリオにおけるアウト・オブ・ディストリビューションの一般化に対する SMAD を用いた評価指標としての機能についても、Landscaper を適用した困難な化学特性予測タスクで示しました。

arXiv:2602.07135v1 Announce Type: new Abstract: Loss landscapes are a powerful tool for understanding neural network optimization and generalization, yet traditional low-dimensional analyses often miss complex topological features. We present Landscaper, an open-source Python package for arbitrary-dimensional loss landscape analysis. Landscaper combines Hessian-based subspace construction with topological data analysis to reveal geometric structures such as basin hierarchy and connectivity. A key component is the Saddle-Minimum Average Distance (SMAD) for quantifying landscape smoothness. We demonstrate Landscaper's effectiveness across various architectures and tasks, including those involving pre-trained language models, showing that SMAD captures training transitions, such as landscape simplification, that conventional metrics miss. We also illustrate Landscaper's performance in challenging chemical property prediction tasks, where SMAD can serve as a metric for out-of-distribution generalization, offering valuable insights for model diagnostics and architecture design in data-scarce scientific machine learning scenarios.