往下拉回到首頁
我的 Intel 筆電跑 Gemma 4 怎麼這麼快?該不會有問題吧

我的 Intel 筆電跑 Gemma 4 怎麼這麼快?該不會有問題吧

Why is Gemma 4 26B/31B running so fast on my Intel laptop? (288V / CachyOS)

欸你知道嗎,我才玩本地 AI 一個禮拜而已。一開始用 Ollama 和 LMStudio 在我的 Core Ultra 9 288V 上面跑,結果那些大模型一直當機,超煩。後來我就自己動手組環境,因為 OpenVINO 跟 NPU 一直不合,我就自己寫了個 Vulkan 橋接來用 GPU。結果竟然成功了?現在 Gemma-4-26B 可以跑到每秒 7 到 12 個 token,這速度是不是太快了啦?有沒有人在差不多的電腦上也跑過,看看我是不是哪裡設定錯誤還是真的這麼猛?

相關標籤

local LLMinference speedIntel Core UltraGPU optimizationGGUFGemma-4performance benchmarking