ggml-cpu：最佳化 x86 和通用 CPU q1_0 點積運算（後續追蹤）by pl752 · Pull Request #21636 · ggml-org/llama.cpp

從 b8858 版本開始提供。這個最佳化的 CPU 版本現在速度更快了。在一台舊筆電（16GB DDR3 記憶體）上測試，速度從 0.3 t/s 提升到 1.7 t/s。雖然沒有達到預期的效能提升（因為筆電不支援 AVX 或 AVX512），但已經有明顯改善。本週會在新筆電上再測試一次。順帶一提，Metal、Vulkan 和 CUDA 版本也支援這項最佳化（包括 1 位元量化版本）。如果還沒試過的話，值得看看。