動的後悔の最小化：曲がり損の減少法に基づくアプローチと Adam Optimizer への応用

arXiv:2602.08372v1 発表タイプ：新しい 要約：非定常オンライン学習における動的後悔最小化を研究し、主に追随則の指導者 (FTRL) 手法に焦点を当てています。FTRL は曲がり損 (curved losses) の分析と、Adam などの適応型オプティマイザーの理解において重要ですが、既存の動的後悔解析は FTRL に対して十分に開発されていません。この問題を解決するために、我々は割引いた動的減少法 (discounted-to-dynamic reduction) に基づき、FTRL 関連の問題の動的後悔境界を取得するためのモジュール化されたアプローチを提示します。具体的には、線形回帰とロジスティック回帰の 2 つの代表的な曲がり損に焦点を当てています。我々の方法は、オンライン線形回帰の最適な動的後悔に関する既存の証明を簡素化だけでなく、オンラインロジスティック回帰の新しい動的後悔保証も得ています。さらにオンライン凸最適化の範囲を超えて、我々はこの減少法を Adam Optimizer の解析に応用し、確率的、非凸、非滑らかな設定における最適な収束率を得ました。この減少法は、2 つの割引パラメータ $(\beta_1, \beta_2)$ を持つ Adam のより詳細な取り扱いを可能にし、これによりクリップ処理とクリップなしの両方の Adam Optimizer 変種に対して新しい結果をもたらしています。

arXiv:2602.08372v1 Announce Type: new Abstract: We study dynamic regret minimization in non-stationary online learning, with a primary focus on follow-the-regularized-leader (FTRL) methods. FTRL is important for curved losses and for understanding adaptive optimizers such as Adam, yet existing dynamic regret analyses are less explored for FTRL. To address this, we build on the discounted-to-dynamic reduction and present a modular way to obtain dynamic regret bounds of FTRL-related problems. Specifically, we focus on two representative curved losses: linear regression and logistic regression. Our method not only simplifies existing proofs for the optimal dynamic regret of online linear regression, but also yields new dynamic regret guarantees for online logistic regression. Beyond online convex optimization, we apply the reduction to analyze the Adam optimizers, obtaining optimal convergence rates in stochastic, non-convex, and non-smooth settings. The reduction also enables a more detailed treatment of Adam with two discount parameters $(\beta_1,\beta_2)$, leading to new results for both clipped and clip-free variants of Adam optimizers.