BONSAI：自然な簡素性と解釈可能性を備えたベイズ最適化

arXiv:2602.07144v1 発表タイプ：新 要約: ベイズ最適化（Bayesian optimization, BO）は、ブラックボックス関数の効率的な最適化を可能にする人気のある手法です。多くのアプリケーションでは、調整されるパラメータには細心の努力で設計されたデフォルト構成が用意されており、実務家はそのデフォルトから必要に応じてのみ変更を希望します。しかし、従来の BO 手法はデフォルトからの逸脱を最小化することを目的としておらず、実際には検索空間の境界まで弱く関連性の高いパラメータを推し進める傾向にあります。これにより、重要な変化と偽装された変化を区別することが難しくなり、最適化目標が重要な運用上の考慮事項を含んでいない場合に、推奨事項の精査の負担が増大してしまいます。私たちは、デフォルト構成からの低インパクト逸脱を剪定し、獲得価値の損失を明示的に制御する「デフォルト認識型」BO ポリシーである BONSAI を導入しました。BONSAI は、期待改善（Expected Improvement）や上確信境界（Upper Confidence Bound, GP-UCB）を含む各種獲得関数と互換性があります。私たちは BONSAI が被るレグレットの理論的 bound を導出し、特定の条件下では、通常の GP-UCB に同じレグレットゼロの性質を享受することを示しました。多数の現実世界のアプリケーションを対象とした実証実験により、BONSAI は推奨される構成におけるデフォルト外パラメータの数を大幅に削減でき、かつ、壁時への影響は少ないままに競争力のある最適化性能を維持することを発見しました。

arXiv:2602.07144v1 Announce Type: new Abstract: Bayesian optimization (BO) is a popular technique for sample-efficient optimization of black-box functions. In many applications, the parameters being tuned come with a carefully engineered default configuration, and practitioners only want to deviate from this default when necessary. Standard BO, however, does not aim to minimize deviation from the default and, in practice, often pushes weakly relevant parameters to the boundary of the search space. This makes it difficult to distinguish between important and spurious changes and increases the burden of vetting recommendations when the optimization objective omits relevant operational considerations. We introduce BONSAI, a default-aware BO policy that prunes low-impact deviations from a default configuration while explicitly controlling the loss in acquisition value. BONSAI is compatible with a variety of acquisition functions, including expected improvement and upper confidence bound (GP-UCB). We theoretically bound the regret incurred by BONSAI, showing that, under certain conditions, it enjoys the same no-regret property as vanilla GP-UCB. Across many real-world applications, we empirically find that BONSAI substantially reduces the number of non-default parameters in recommended configurations while maintaining competitive optimization performance, with little effect on wall time.