往下拉回到首頁
天啊!16GB 的 MacBook Air 竟然跑得動超大型 AI,速度還不會很慢

天啊!16GB 的 MacBook Air 竟然跑得動超大型 AI,速度還不會很慢

Running Qwen 3.5 35B on a 16GB M3 MacBook Air at 8.9 TPS - Here's How

欸你知道嗎,我最近在自己的 16GB M3 MacBook Air 上面跑起了 Qwen 3.5 35B 這個超大型 AI 模型,而且速度還滿快的,每秒可以產生 8.9 個 token(就是 AI 回答時的基本單位啦)。說真的有點扯,因為這個模型的大小根本比我電腦的記憶體還大,但我用了一個叫 mmap 的技巧,讓電腦可以聰明地在硬碟和記憶體之間切換資料,這樣就能跑起來了。簡單來說就是把模型壓縮一下,然後用特殊的方式載入,就能在普通 MacBook 上面跑大型 AI,不用買什麼超貴的電腦。我會一步步教你怎麼做,從下載模型開始,全部都是實際可行的步驟,沒有廢話。