LLM ベースシステムのためのコスト意識のあるモデル オーケストレーション

arXiv:2512.01099v2 Announce Type: replace 摘要: 現代の人工知能（AI）システムが進化し、能力が高まっている現在、それらは複雑なタスクを実行するために多様なツールとモデルを活用しています。これらのモデルのオーケストレーションは、大規模言語モデル（LLM）に委譲されており、それらはモデルの定性的な記述に基づいて意思決定を行っています。しかし、既存の LLM ベース オーケストレーターに提供される記述は、実際のモデルの能力やパフォーマンス特性を正確に反映していないことが多く、不適切なモデル選択、タスク精度の低下、およびコストの増大を招いています。本論文では、LLM ベース オーケストレーションの限界に関する実証分析を行い、意思決定に定量的なモデルパフォーマンス特性を組み込むことでパフォーマンスとコストのトレードオフを考慮した、コスト意識のあるモデル選択手法を提案しました。初期の実験結果は、私たちが提案した手法が、評価された各種タスクで精度を 0.90％〜11.92％向上させ、最大 54％のエネルギー効率改善を達成し、オーケストレーターモデル選択の遅延を 4.51 秒から 7.2 ミリ秒に減少させたことを示しています。

arXiv:2512.01099v2 Announce Type: replace Abstract: As modern artificial intelligence (AI) systems become more advanced and capable, they can leverage a wide range of tools and models to perform complex tasks. The task of orchestrating these models is increasingly performed by Large Language Models (LLMs) that rely on qualitative descriptions of models for decision-making. However, the descriptions provided to existing LLM-based orchestrators frequently do not reflect true model capabilities and performance characteristics, leading to suboptimal model selection, reduced task accuracy, and increased cost. In this paper, we conduct an empirical analysis of LLM-based orchestration limitations and propose a cost-aware model selection method that accounts for performance-cost trade-offs by incorporating quantitative model performance characteristics within decision-making. Initial experimental results demonstrate that our proposed method increases accuracy by 0.90%-11.92% across various evaluated tasks, achieves up to a 54% energy efficiency improvement, and reduces orchestrator model selection latency from 4.51 s to 7.2 ms.