鶏と卵のパラドックス：LLM のトレーニングデータを効率的に共同最適化する手法

arXiv:2602.08351v1 発表タイプ：新しい 要約：LLM のトレーニングにおいて、データとモデルの構成を共同最適化する際、その「鶏と卵のパラドックス」が浮上します：下流タスクにおける最適なトレーニングデータ構成（例えば、データミックス）は選択されたモデル構成（例えば、モデルアーキテクチャ）に依存し、逆も同様です。しかし、両方の構成を同時に最適化する任务是しばしば不可能であると考えられ、既存の方法はデータ最適化またはモデル最適化のいずれかを取り扱い、互いの相互作用を考慮していません。我々は、LLM のトレーニングデータとモデルの構成を効率的に共同最適化するための JoBS というアプローチを提案します。JoBS は、スケーリング則に由来するパフォーマンス予測者と、ベイジアン最適化（BO）を組み合わせます。この予測者は、数少ないトレーニングステップからトレーニング構成の有望度を予測します。JoBS は、最適化予算の一部を、この LLM パフォーマンス予測者の学習に割り当て、小さなデータセットからトレーニング構成の有望度を予測する能力を向上させます。残りの予算は予測者とのみを使用して BO を完全に実行し、フルトレーニングの執行的コストを軽減します。我々は JoBS の平均リガットを分析し、リガットを最小化する最適な予算割り当てを設計しました。JoBS は、同じ最適化予算の下で、さまざまな LLM タスクにおいて、既存のマルチフィジリティ BO ベーライン、およびデータとモデルの最適化アプローチよりも優れています。

arXiv:2602.08351v1 Announce Type: new Abstract: Co-optimizing data and model configurations for training LLMs presents a classic chicken-and-egg dilemma: The best training data configuration (e.g., data mixture) for a downstream task depends on the chosen model configuration (e.g., model architecture), and vice versa. However, jointly optimizing both data and model configurations is often deemed intractable, and existing methods focus on either data or model optimization without considering their interaction. We introduce JoBS, an approach that uses a scaling-law-inspired performance predictor to aid Bayesian optimization (BO) in jointly optimizing LLM training data and model configurations efficiently. JoBS allocates a portion of the optimization budget to learn an LLM performance predictor that predicts how promising a training configuration is from a small number of training steps. The remaining budget is used to perform BO entirely with the predictor, effectively amortizing the cost of running full-training runs. We study JoBS's average regret and devise the optimal budget allocation to minimize regret. JoBS outperforms existing multi-fidelity BO baselines, as well as data and model optimization approaches across diverse LLM tasks under the same optimization budget.