Meta Additive Model: Interpretable Sparse Learning With Auto Weighting

arXiv:2604.20111v1 Announce Type: new Abstract: スパースアドダティブモデルは、高次元データ解析において柔軟な表現と高い解釈可能性ゆえに多くの注目を集めている。しかし、既存の多くのモデルは平均二乗誤差基準の下での単一レベル学習に制限されており、非高斯的な擾乱、外れ値、ノイズラベル、不平衡カテゴリといった複雑なノイズが存在する場合、実証的な性能が著しく低下する傾向がある。サンプルリウェイト戦略は、モデルが大規模データに対する感受性を低下させるために広く利用されているが、その方法では通常、重み関数の事前指定および追加ハイパーパラメータの手動選択が必要となる。この問題を解決するため、我々は重み関数をメタデータで学習された MLP によってパラメータ化することで、個別の損失のデータ駆動型重み付けを学習する、新しいメタアドダティブモデル (MAM) を提案する。MAM は、変数選択、頑健な回帰推定、不平衡分類といった多様な学習タスクに対応可能である。理論的には、MAM は穏健な条件の下、計算の収束性、アルゴリズムの汎化能力、変数選択の一貫性についての保証を提供する。実証的には、MAM は各種データ劣化条件下で、合成データおよび実際の世界データにおいて、いくつかの最先端のアドダティブモデルを上回る性能を示している。

arXiv:2604.20111v1 Announce Type: new Abstract: Sparse additive models have attracted much attention in high-dimensional data analysis due to their flexible representation and strong interpretability. However, most existing models are limited to single-level learning under the mean-squared error criterion, whose empirical performance can degrade significantly in the presence of complex noise, such as non-Gaussian perturbations, outliers, noisy labels, and imbalanced categories. The sample reweighting strategy is widely used to reduce the model's sensitivity to atypical data; however, it typically requires prespecifying the weighting functions and manually selecting additional hyperparameters. To address this issue, we propose a new meta additive model (MAM) based on the bilevel optimization framework, which learns data-driven weighting of individual losses by parameterizing the weighting function via an MLP trained on meta data. MAM is capable of a variety of learning tasks, including variable selection, robust regression estimation, and imbalanced classification. Theoretically, MAM provides guarantees on convergence in computation, algorithmic generalization, and variable selection consistency under mild conditions. Empirically, MAM outperforms several state-of-the-art additive models on both synthetic and real-world data under various data corruptions.