往下拉回到首頁
Mistral Medium 3.5 在 AMD Strix Halo 上跑超慢,你的筆電可能不適合

Mistral Medium 3.5 在 AMD Strix Halo 上跑超慢,你的筆電可能不適合

Mistral Medium 3.5 on AMD Strix Halo: Painfully Slow (Plan for Overnight Runs)

欸你知道嗎,有人在 AMD 最新的 Strix Halo 筆電晶片上試著跑 Mistral Medium 3.5 這個大型 AI 模型,結果超慘。一個簡單的程式碼問題,光是讓 AI 思考和回答就花了 2 小時。沒騙你,真的 2 小時。這就像是你問 ChatGPT 一個問題,結果要等到隔天早上才有答案,只不過這次是在你自己的筆電上發生。雖然他們已經用了各種優化技巧(什麼量化啦、GPU 加速啦),但還是快不起來。簡單來說就是,如果你想在筆電上跑這麼大的 AI 模型,現在還不是時候。除非你不介意每次都要等個幾小時。

白話點評

有人等了2小時才讓本地AI回答一個程式問題。這就是為什麼本地AI還沒準備好。

想像一下:你問你的本地AI一個複雜的程式問題,按下Enter,然後……等。整整2小時。這真的發生了,有人在AMD最新的Strix Halo晶片上測試Mistral Medium 3.5,結果就是這樣。我們在講48k個token的提示詞加上4k個思考token——基本上就是叫AI認真想一個程式架構問題。即使用盡所有優化招數(Q5_K_XL量化、GPU加速全開、快取重複使用),還是慢到像撥接網路一樣。這也不是什麼便宜貨設定啦——Strix Halo可是AMD的旗艦AI晶片。殘酷的現實是什麼?大家都在吹『AI在你筆電上跑』,但我們距離那種ChatGPT一樣秒回的體驗還遠得要死。沒錯,它能動,但『能動』和『真的好用』根本是兩碼子事。

結論把複雜的AI工作排在睡前跑,然後祈禱你的筆電不要當機——本地AI現在還是個考驗耐心的遊戲。
7/10

AI 怎麼看

硬體開發

high
你可以做什麼

開始規劃你下一代晶片的AI工作負載測試吧——消費者現在不只問『能不能跑AI』,而是『到底要跑多久』

重點是什麼

連AMD旗艦款Strix Halo用盡所有優化招數,還是要花2小時才能做完雲端API幾秒鐘就搞定的事——本地AI效能差距根本大到不行

為什麼要在乎

你的客戶馬上就會發現『支援AI的硬體』和『真的能用AI的硬體』根本是兩回事

這跟你的工作有關嗎

AI工程師

整個會變不一樣
為什麼會這樣

本地AI推論速度慢到爆炸,連高階硬體都救不了,整個部署策略都得重新想

你可以怎麼做

現在就開始建立混合工作流吧——把耗時的推論工作丟到晚上跑,互動式的東西還是靠雲端

產品經理

要注意
為什麼會這樣

本地硬體2小時的等待時間直接殺死了『即時AI體驗』的夢想

你可以怎麼做

把你的AI功能改成批次處理和夜間工作流,別想著要即時反應了

這些詞是什麼意思

Strix Halo(Strix Halo晶片)
AMD的旗艦AI晶片,這次2小時的慘痛測試直接戳破它根本還沒準備好做即時本地AI工作的真相。
Q5_K_XL Quantization(Q5_K_XL量化)
一種壓縮方法,把AI模型縮小到消費級硬體能跑的大小——這次測試用的優化招數之一,但還是救不了2小時的悲劇。
Thinking Tokens(思考令牌)
測試裡提到的4k個token,代表AI在給最終答案前的內部推理過程——就像AI在心裡碎碎念一樣。
Local Inference(本地推論)
在自己的硬體上跑AI模型,不靠雲端——這次2小時的惡夢就是在示範它跟雲端API比起來慢到不行。