Foundation Model-Ware向けのソフトウェアパフォーマンスエンジニアリング

大規模言語モデル（LLM）などのファoundation模型（FMs）の台頭は、ソフトウェア開発を革命に変えています。原型が素晴らしい一方で、FMwareから生産クラスの製品への変換には様々な領域での複雑なエンジニアリングが必要です。重要なですが無視されているのはパフォーマンスエンジョイメントです。これは機能性目標として throughput と ラテランスを実現し、ユーザの不満を排除するとともに財務上の損失を避けることを目指しています。多くの場合、パフォーマンスには後回しになることになり、デプロイ後にコストがかかります。FMwareの高々な並列処理が求められる必要性の重要性は、適切なハードウェアの使用を奨励します。継続的なパフォーマンスエンジニアリングはパフォーマンスの低下を予防するためには不可欠です。この論文ソフトウェアエンジニアリングにおけるSoftware Performance Engineering (SPE)の重要性に焦点を当て、4つの主要な挑戦を特定します：認知構造設計（それはAIコンポーネントが古典的なソフトウェアコンポーネントと相互作用する仕様やAIコンポーネントと関係を定義すること）、通信プロトコル、チューニングと最適化、そしてデプロイメント。これらの挑戦は、literatureの調査と内部のFMwareシステム開発から得られた経験に基づいています。我々は問題、現在のトレンド、ソフトウェアエンジニアリングコミュニティのためにインスピレーションを提供する新たな道について話しします。

arXiv:2411.09580v2 Announce Type: replace-cross Abstract: The rise of Foundation Models (FMs) like Large Language Models (LLMs) is revolutionizing software development. Despite the impressive prototypes, transforming FMware into production-ready products demands complex engineering across various domains. A critical but overlooked aspect is performance engineering, which aims at ensuring FMware meets performance goals such as throughput and latency to avoid user dissatisfaction and financial loss. Often, performance considerations are an afterthought, leading to costly optimization efforts post-deployment. FMware's high computational resource demands highlight the need for efficient hardware use. Continuous performance engineering is essential to prevent degradation. This paper highlights the significance of Software Performance Engineering (SPE) in FMware, identifying four key challenges: cognitive architecture design (i.e., the structural design that defines how AI components interact, reason, and interface with classical software components), communication protocols, tuning and optimization, and deployment. These challenges are based on literature surveys and experiences from developing an in-house FMware system. We discuss problems, current practices, and innovative paths for the software engineering community.