往下拉回到首頁
Ollama 支援 MLX 框架,Mac 上跑 AI 模型快到不行

Ollama 支援 MLX 框架,Mac 上跑 AI 模型快到不行

Running local models on Macs gets faster with Ollama's MLX support

如果你有 Apple Silicon Mac(M1、M2、M3 那些),現在用 Ollama 跑大型 AI(LLM)模型會快很多。重點是什麼呢?Apple 的統一記憶體架構終於被好好利用了。簡單來說就是,以前 Mac 跑本地 AI 模型有點卡卡的,現在透過 MLX 框架的優化,效能直接起飛。這對想在自己電腦上私密地玩 AI、不想上傳資料到雲端的人來說,根本是福音。

關鍵字

local modelsMac performanceunified memoryApple SiliconLLM inference