KompeteAI: マシンラーニング問題向けの端到端パイプライン生成を加速する自律型マルチエージェントシステム

arXiv:2508.10177v3 Announce Type: replace Abstract: 最近の大規模言語モデル（LLM）に基づく自動機械学習（AutoML）システムは印象的な能力を示していますが、探索戦略の制限や深刻な実行ボトルネックといった重大な制限に直面しています。探索は、多様性に欠けるワンショット手法に阻害され、強力な部分解決策を再結合できないモンテカルロ木探索（MCTS）手法で失敗しています。実行ボトルネックは、反復改善を抑制する長いコードバリデーションサイクルに起因します。これらの課題に対処するために、我々は動的解決策空間探索を備えた新たな AutoML フレームワークである KompeteAI を導入しました。従来の MCTS 手法がアイデアを個別に扱うのに対し、KompeteAI はトップ候補を結合する階層を導入しました。さらに、Kaggle ノートブックと arXiv 論文からのアイデアを統合するリトリバリ augment 生成（RAG）を採用することで、仮説空間を拡大し、実際の世界での戦略を取り入れています。KompeteAI は、解決策の潜在力を早期段階の指標を使用して高価なフルコード実行を回避する予測スコアリングモデルと加速されたデバッグ手法により、実行ボトルネックに対処しています。このアプローチはパイプラインの評価を 6.9 倍加速させました。KompeteAI は、主要な AutoML ベンチマークである MLE-Bench で、RD-agent、AIDE、Ml-Master など主要な手法を上回る平均 3% の性能を達成しました。さらに、KompeteAI が州外レベルの結果を達成しているが、MLE-Bench の制約に対処するために Kompete-bench を提案しました。

arXiv:2508.10177v3 Announce Type: replace Abstract: Recent Large Language Model (LLM)-based AutoML systems demonstrate impressive capabilities but face significant limitations such as constrained exploration strategies and a severe execution bottleneck. Exploration is hindered by one-shot methods lacking diversity and Monte Carlo Tree Search (MCTS) approaches that fail to recombine strong partial solutions. The execution bottleneck arises from lengthy code validation cycles that stifle iterative refinement. To overcome these challenges, we introduce KompeteAI, a novel AutoML framework with dynamic solution space exploration. Unlike previous MCTS methods that treat ideas in isolation, KompeteAI introduces a merging stage that composes top candidates. We further expand the hypothesis space by integrating Retrieval-Augmented Generation (RAG), sourcing ideas from Kaggle notebooks and arXiv papers to incorporate real-world strategies. KompeteAI also addresses the execution bottleneck via a predictive scoring model and an accelerated debugging method, assessing solution potential using early stage metrics to avoid costly full-code execution. This approach accelerates pipeline evaluation 6.9 times. KompeteAI outperforms leading methods (e.g., RD-agent, AIDE, and Ml-Master) by an average of 3\% on the primary AutoML benchmark, MLE-Bench. Additionally, we propose Kompete-bench to address limitations in MLE-Bench, where KompeteAI also achieves state-of-the-art results