下に引いて戻る
Gemma 4 26B/31B が Intel ノートパソコンでこんなに速く動くのは普通?(288V / CachyOS)

Gemma 4 26B/31B が Intel ノートパソコンでこんなに速く動くのは普通?(288V / CachyOS)

Why is Gemma 4 26B/31B running so fast on my Intel laptop? (288V / CachyOS)

1週間前にローカルLLMを始めたばかりで、Core Ultra 9 288VでOllamaとLMStudioを試してみたんですが、MoEモデルで何度もクラッシュしてしまいました。それで自分で環境を一から構築することにしました。OpenVINOがNPUと上手く連携しなかったので、代わりにGPU用のカスタムVulkanブリッジを自分でコンパイルしてみたんです。なんか動いてる?16kコンテキストでGemma-4-26Bが7~12トークン/秒出てるんですが、同じようなハードウェアでこのくらいの速度を見た人いますか?それとも僕が何か上手くやっちゃったのかな?

キーワード

local LLMinference speedIntel Core UltraGPU optimizationGGUFGemma-4performance benchmarking