往下拉回到首頁
Mistral Medium 3.5 在 AMD Strix Halo 上跑起來超慢,準備好熬夜吧

Mistral Medium 3.5 在 AMD Strix Halo 上跑起來超慢,準備好熬夜吧

Mistral Medium 3.5 on AMD Strix Halo: Painfully Slow (Plan for Overnight Runs)

有人真的在 AMD 新推出的 Strix Halo 晶片上測試了 Mistral Medium 3.5,結果呢?慢到不行。一個 48k 語言符號加上 4k 思考語言符號的提示詞,光是回答一個關於程式碼架構的問題就花了 2 小時。沒看錯,真的是兩小時。如果你想在 Strix Halo 上本地運行這個模型,最好在睡前就開始跑。雖然用了一堆優化技巧(Q5_K_XL 量化、GPU 加速、快取重用),但還是快不起來。本地 AI 的夢想看起來還要再等等,不過至少能動就是了。

科技博主觀點

有人等了2小時才讓AI回答一個程式問題。這就是為什麼本地AI還沒準備好。

想像一下:你問本地AI一個複雜的程式問題,按下Enter,然後……等。整整2小時。這真的發生在有人用AMD最新的Strix Halo晶片測試Mistral Medium 3.5的時候。我們講的是48k個token的提示詞加上4k個思考token——基本上就是要求AI深入思考一個程式架構問題。即使用盡所有優化招數(Q5_K_XL量化、GPU加速全開、快取重複使用),它還是慢得像撥接網路。這也不是什麼預算型設定啦——Strix Halo可是AMD的旗艦AI晶片。殘酷的現實?雖然大家都在炒作「AI在你筆電上」,我們距離人們期望的那種即時ChatGPT體驗還差十萬八千里。沒錯,它能用,但「能用」和「實用」完全是兩碼子事。

結論把複雜AI工作排在睡前跑,然後祈禱你的筆電不要在半夜當機——本地AI現在還是個考驗耐心的遊戲。
7/10

AI 分析

硬體開發

high
應採取行動

開始規劃你下一代晶片的AI工作負載基準測試——消費者的期望已經從「能不能跑」變成「能跑多快」

關鍵洞察

連AMD旗艦Strix Halo用盡所有優化招數,還是需要2小時才能做完雲端API幾秒鐘的事——本地AI效能差距大到不行

為什麼重要

你的客戶馬上就會發現「支援AI的硬體」和「實用AI硬體」根本是兩回事

職位影響分析

AI工程師

角色轉型
影響成因

本地AI推論即使在高階硬體上也慢到不行,逼著大家完全重新思考部署策略

應對策略

現在就開始建構混合工作流——把複雜推論工作丟到本地跑一整晚,互動式工作留給雲端

產品經理

風險
影響成因

本地硬體2小時的等待時間直接殺死任何即時AI產品體驗的夢想

應對策略

把你的AI功能重新設計成批次處理和隔夜工作流,別想著即時回應

名詞解釋

Strix Halo(Strix Halo晶片)
AMD的旗艦AI導向處理器晶片,這次痛苦的2小時測試直接暴露它對於即時本地AI工作還是慢到不行。
Q5_K_XL Quantization(Q5_K_XL量化)
一種壓縮方法,把AI模型縮小到能在消費級硬體上跑——這次測試用的優化招數之一,但還是救不了那2小時的爬行速度。
Thinking Tokens(思考令牌)
這次測試提到的4k個token,代表AI在給出最終答案前的內部推理過程——基本上就是AI在「自言自語地思考」。
Local Inference(本地推論)
在自己的硬體上跑AI模型,而不是用雲端服務——這次2小時的惡夢就是在示範它相比雲端API還是慢到不行。