大規模言語モデルを有するベイズ最適化における適応的取得関数選択

arXiv:2602.07904v1 発表タイプ: new 要約：ベイズ最適化（BO）には、取得関数（acquisition function）の選択が不可欠であるが、どの戦略が万能に最適というものは存在せず、最適な選択は非定常的で問題依存である。既存の適応的ポートフォール手法は、過去の関数值に基づいて意思決定を行うが、残りの予算や代替モデルの特性といったより豊富な情報を無視する傾向がある。これを補うため、事前学習された大規模言語モデル（LLM）をゼロショットでオンライン戦略家として BO プロセスに導入した新しいフレームワーク「LMABO」を導入する。各反復において、LMABO は構造化されたステート表現を用いて、LLM に多様なポートフォールから最も適切な取得関数を選択させる。50 つのベンチマーク問題に対する評価において、LMABO は強い静的および適応的ポートフォール手法、他の LLM ベースの基準と比較して、著しいパフォーマンス向上を示した。我々は、LLM の振る舞いがリアルタイムの進展に応じて適応する包括的な戦略であることを示した。その優位性が、最適な状態を処理・統合し、効果的な適応的政策を生成する能力に起因していることを証明した。

arXiv:2602.07904v1 Announce Type: new Abstract: Bayesian Optimization critically depends on the choice of acquisition function, but no single strategy is universally optimal; the best choice is non-stationary and problem-dependent. Existing adaptive portfolio methods often base their decisions on past function values while ignoring richer information like remaining budget or surrogate model characteristics. To address this, we introduce LMABO, a novel framework that casts a pre-trained Large Language Model (LLM) as a zero-shot, online strategist for the BO process. At each iteration, LMABO uses a structured state representation to prompt the LLM to select the most suitable acquisition function from a diverse portfolio. In an evaluation across 50 benchmark problems, LMABO demonstrates a significant performance improvement over strong static, adaptive portfolio, and other LLM-based baselines. We show that the LLM's behavior is a comprehensive strategy that adapts to real-time progress, proving its advantage stems from its ability to process and synthesize the complete optimization state into an effective, adaptive policy.