DGX Sparkで色々なローカルLLMを動かした比較結果

NVIDIA DGX Spark（GB10、ARM64、128GB統合メモリ）でローカルLLMを動かす方法を、推論エンジン別（Ollama / vLLM / SGLang）に解説します。 「どのモデル × どのエンジンを選べばいいの？」という疑問に答えるため、手軽さ・賢さ（ツールコール精度）・速度・メモリ使用量の4軸で整理しました。 この記事は実際にDGX Sparkで動作確認した手順をまとめたものです。動作確認できなかった方法も参考として記載しています。 ! この記事は、あくまで自分の環境での少数試行での結果です。条件など完全に揃えられてない点もありますので、正確なベンチマークというよ...

NVIDIA DGX Spark（GB10、ARM64、128GB統合メモリ）でローカルLLMを動かす方法を、推論エンジン別（Ollama / vLLM / SGLang）に解説します。 「どのモデル × どのエンジンを選べばいいの？」という疑問に答えるため、手軽さ・賢さ（ツールコール精度）・速度・メモリ使用量の4軸で整理しました。 この記事は実際にDGX Sparkで動作確認した手順をまとめたものです。動作確認できなかった方法も参考として記載しています。 ! この記事は、あくまで自分の環境での少数試行での結果です。条件など完全に揃えられてない点もありますので、正確なベンチマークというよ...