スモークングを伴う適応行列オンライン学習：非滑らか非凸最適化に対する保証付きのアプローチ

arXiv:2602.08232v1 Announce Type: cross 要約：当研究は、算子ノルムによって制約される行列変数を持つオンライン線形最適化を扱います。この設定において、幾何学的特徴のためデータ依存かつ効率的な適応アルゴリズムの設計は困難です。現在最高レベルの適応レギレット（悔惜）境界は Shampoo 様式の方法で実現されており、これらは高価な二次投影サブ問題の解決を必要とします。これを解決するために、我々は勾配に基づく予測スキームを適応行列オンライン学習に拡張し、アルゴリズム設計を核規の核空間用のスモークングポテンシャル族の構築として再定義しました。そのようなスモークングの可容認性という概念を定義し、任意の可容認なスモークングが、一方側 Shampoo と同様の保証を実現するレギット境界を与えることを証明しました。この枠組みを、二次投影を回避する 2 つの効率的な方法で具体化しました。第一の手法は、ガウス確率スモークングを用いた適応的なフォロ・ザ・ペルトルブド・リーダー (FTPL) メソッドです。第二の手法は、拡張行列空間における決定論的双曲線スモークングを用いるフォロ・ザ・オグメンテッド・マトリックス・リーダー (FAML) です。これらのスモークングの可容認性を分析する過程で、両手法は閉じた形式の更新を持つことを示し、一方側 Shampoo のレギレット境界と定数倍で一致すると同時に、計算コストを著しく低減しました。最後に、オンラインから非凸への変換を用いて、2 つの行列ベースの最適化器である Pion（FTPL から）と Leon（FAML から）を導出しました。我々は、これらの方法が滑らかな非凸設定で収束保証を持つことを証明しました。これは、一般的な Muon 最適化器が欠如している保証です。

arXiv:2602.08232v1 Announce Type: cross Abstract: We study online linear optimization with matrix variables constrained by the operator norm, a setting where the geometry renders designing data-dependent and efficient adaptive algorithms challenging. The best-known adaptive regret bounds are achieved by Shampoo-like methods, but they require solving a costly quadratic projection subproblem. To address this, we extend the gradient-based prediction scheme to adaptive matrix online learning and cast algorithm design as constructing a family of smoothed potentials for the nuclear norm. We define a notion of admissibility for such smoothings and prove any admissible smoothing yields a regret bound matching the best-known guarantees of one-sided Shampoo. We instantiate this framework with two efficient methods that avoid quadratic projections. The first is an adaptive Follow-the-Perturbed-Leader (FTPL) method using Gaussian stochastic smoothing. The second is Follow-the-Augmented-Matrix-Leader (FAML), which uses a deterministic hyperbolic smoothing in an augmented matrix space. By analyzing the admissibility of these smoothings, we show both methods admit closed-form updates and match one-sided Shampoo's regret up to a constant factor, while significantly reducing computational cost. Lastly, using the online-to-nonconvex conversion, we derive two matrix-based optimizers, Pion (from FTPL) and Leon (from FAML). We prove convergence guarantees for these methods in nonsmooth nonconvex settings, a guarantee that the popular Muon optimizer lacks.