往下拉回到首頁
Gemma 4 26B/31B 在 Intel 筆電上跑這麼快是正常的嗎?(288V / CachyOS)

Gemma 4 26B/31B 在 Intel 筆電上跑這麼快是正常的嗎?(288V / CachyOS)

Why is Gemma 4 26B/31B running so fast on my Intel laptop? (288V / CachyOS)

我一週前才開始玩本地大型語言模型(LLM),在 Core Ultra 9 288V 上試過 Ollama 和 LMStudio,但它們在 MoE 模型上一直當機或硬停,所以我決定自己從頭建置環境。OpenVINO 跟 NPU 在這些大模型上一直不合作,我就自己編譯了一個客製化的 Vulkan 橋接來用 GPU。結果好像有在動?在 16k 上下文的情況下,Gemma-4-26B 跑出 7-12 tokens/秒的速度。有人在類似的硬體上看過這種速度嗎,還是我不小心做對了什麼?

關鍵字

local LLMinference speedIntel Core UltraGPU optimizationGGUFGemma-4performance benchmarking