
OpenAI 直播活動
OpenAI 將舉辦一場直播活動。在直播期間將揭露具體的公告、產品發布或示範內容。
上一次 OpenAI 突然搞直播,他們直接丟出 GPT-4 Turbo,然後一夜之間改掉所有定價

有人真的在 AMD 新推出的 Strix Halo 晶片上測試了 Mistral Medium 3.5,結果呢?慢到不行。一個 48k 語言符號加上 4k 思考語言符號的提示詞,光是回答一個關於程式碼架構的問題就花了 2 小時。沒看錯,真的是兩小時。如果你想在 Strix Halo 上本地運行這個模型,最好在睡前就開始跑。雖然用了一堆優化技巧(Q5_K_XL 量化、GPU 加速、快取重用),但還是快不起來。本地 AI 的夢想看起來還要再等等,不過至少能動就是了。
科技博主觀點
有人等了2小時才讓AI回答一個程式問題。這就是為什麼本地AI還沒準備好。
想像一下:你問本地AI一個複雜的程式問題,按下Enter,然後……等。整整2小時。這真的發生在有人用AMD最新的Strix Halo晶片測試Mistral Medium 3.5的時候。我們講的是48k個token的提示詞加上4k個思考token——基本上就是要求AI深入思考一個程式架構問題。即使用盡所有優化招數(Q5_K_XL量化、GPU加速全開、快取重複使用),它還是慢得像撥接網路。這也不是什麼預算型設定啦——Strix Halo可是AMD的旗艦AI晶片。殘酷的現實?雖然大家都在炒作「AI在你筆電上」,我們距離人們期望的那種即時ChatGPT體驗還差十萬八千里。沒錯,它能用,但「能用」和「實用」完全是兩碼子事。
AI 分析
硬體開發
high開始規劃你下一代晶片的AI工作負載基準測試——消費者的期望已經從「能不能跑」變成「能跑多快」
連AMD旗艦Strix Halo用盡所有優化招數,還是需要2小時才能做完雲端API幾秒鐘的事——本地AI效能差距大到不行
你的客戶馬上就會發現「支援AI的硬體」和「實用AI硬體」根本是兩回事
職位影響分析
AI工程師
角色轉型本地AI推論即使在高階硬體上也慢到不行,逼著大家完全重新思考部署策略
現在就開始建構混合工作流——把複雜推論工作丟到本地跑一整晚,互動式工作留給雲端
產品經理
風險本地硬體2小時的等待時間直接殺死任何即時AI產品體驗的夢想
把你的AI功能重新設計成批次處理和隔夜工作流,別想著即時回應