ランダム化アルゴリズムを用いた順次回帰学習

arXiv:2507.03759v2 発表タイプ: replace-cross 要旨：本稿は、時依存構造を有する動的データに適した「ランダム SINDy」という順次機械学習アルゴリズムを示します。本アルゴリズムは確率的アプローチを採用し、機能的解析の数学理論に基づきその PAC 学習特性が厳密に証明されています。予測者は学習された確率分布に基づき動的に予測を行い、勾配降下法と近傍アルゴリズムを通じて有効な確率密度を維持するように重みを更新します。SINDy (Brunton et al. 2016) に着想を得て特徴量拡張と Tikhonov 正則化を導入しています。多重分散正規分布の重みの場合、パラメータ推定に集中するため近傍ステップは省略されます。本アルゴリズムの有効性は、実世界データを用いた回帰および二値分類の実験結果によって示されています。

arXiv:2507.03759v2 Announce Type: replace-cross Abstract: This paper presents ``randomized SINDy", a sequential machine learning algorithm designed for dynamic data that has a time-dependent structure. It employs a probabilistic approach, with its PAC learning property rigorously proven through the mathematical theory of functional analysis. The algorithm dynamically predicts using a learned probability distribution of predictors, updating weights via gradient descent and a proximal algorithm to maintain a valid probability density. Inspired by SINDy (Brunton et al. 2016), it incorporates feature augmentation and Tikhonov regularization. For multivariate normal weights, the proximal step is omitted to focus on parameter estimation. The algorithm's effectiveness is demonstrated through experimental results in regression and binary classification using real-world data.