Bonsai-8B 考察——1 ビット LLM は使えるのか

自分用のメモとして記述しました。Caltech からリリースされた真の 1 ビット LLM「Bonsai-8B」について。モデルサイズはわずか 1.15GB にも満たない。海外の LLM コミュニティの議論を確認し、技術的な仕組み...

Bonsai-8B考察 — 1-bit LLMは使い物になるのか 自分用メモとして書きました。PrismML（Caltech発）がリリースした真の1-bit LLM「Bonsai-8B」。モデルサイズわずか1.15GB。海外LLMコミュニティの議論を調べ、技術的な仕組み...