GreenBoost──12GB の GPU で 32GB の AI モデルを動かす挑戦｜情報の灯台

VRAM が足りない。ローカル AI を触ったことがある人なら、一度はぶつかる壁だ。その壁に、一人の開発者がカーネルモジュールで穴を開けた。「買い替えろ」以外の選択肢 RTX 5070 の VRAM は 12GB。一方、ローカルで動かしたい LLM は膨らみ続けている。例えば、glm-4.7-flash の q8_0 量子化モデルは 31.8GB。どう計算しても収まら...

VRAMが足りない。ローカルAIを触ったことがある人なら、一度はぶつかる壁だ。その壁に、一人の開発者がカーネルモジュールで穴を開けた。 「買い替えろ」以外の選択肢RTX 5070のVRAMは12GB。一方、ローカルで動かしたいLLMは膨らみ続けている。たとえばglm-4.7-flashのq8_0量子化モデルは31.8GB。どう計算しても収まらな...