往下拉回到首頁
你的舊電腦跑 AI 模型現在快 5 倍?llama.cpp 新優化來了

你的舊電腦跑 AI 模型現在快 5 倍?llama.cpp 新優化來了

ggml-cpu: Optimized x86 and generic CPU q1_0 dot (follow up) by pl752 · Pull Request #21636 · ggml-org/llama.cpp

欸你知道嗎,有人把 llama.cpp 的 CPU 運算優化了,現在跑 AI 模型速度快超多。簡單來說就是,之前在舊筆電上跑一個字要 3 秒多,現在只要 0.6 秒,快了將近 6 倍! 當然啦,這個優化的效果還是要看你的電腦有沒有支援 AVX 這種進階指令集。如果你的筆電比較新,效果會更誇張。這對那些想在自己電腦上跑 AI 但又不想買貴 GPU 的人來說,根本是天大的好消息。 而且不只 CPU 版本,Metal(蘋果)、Vulkan 和 CUDA(NVIDIA)版本也都有支援,所以不管你用什麼硬體都能受惠。如果你有在玩開源 AI 模型的話,這個更新絕對值得試試看。