
OpenAI 要開直播了,會不會又推出什麼新東西?
欸你知道嗎,OpenAI 最近要辦一場直播活動。雖然現在還不知道會講什麼,但根據他們過去的習慣,通常直播就代表有新東西要發表。可能是 ChatGPT 的新功能、新模型,或者什麼其他猛的東西。反正 OpenAI 的直播從來不會無聊,有興趣的話可以追蹤一下,說不定又會有什麼改變遊戲規則的公告。
The last time OpenAI did an unannounced livestream, they dropped GPT-4 Turbo and changed pricing overnight


白話點評
有人等了2小時才讓本地AI回答一個程式問題。這就是為什麼本地AI還沒準備好。
想像一下:你問你的本地AI一個複雜的程式問題,按下Enter,然後……等。整整2小時。這真的發生了,有人在AMD最新的Strix Halo晶片上測試Mistral Medium 3.5,結果就是這樣。我們在講48k個token的提示詞加上4k個思考token——基本上就是叫AI認真想一個程式架構問題。即使用盡所有優化招數(Q5_K_XL量化、GPU加速全開、快取重複使用),還是慢到像撥接網路一樣。這也不是什麼便宜貨設定啦——Strix Halo可是AMD的旗艦AI晶片。殘酷的現實是什麼?大家都在吹『AI在你筆電上跑』,但我們距離那種ChatGPT一樣秒回的體驗還遠得要死。沒錯,它能動,但『能動』和『真的好用』根本是兩碼子事。
AI 怎麼看
硬體開發
high開始規劃你下一代晶片的AI工作負載測試吧——消費者現在不只問『能不能跑AI』,而是『到底要跑多久』
連AMD旗艦款Strix Halo用盡所有優化招數,還是要花2小時才能做完雲端API幾秒鐘就搞定的事——本地AI效能差距根本大到不行
你的客戶馬上就會發現『支援AI的硬體』和『真的能用AI的硬體』根本是兩回事
這跟你的工作有關嗎
AI工程師
整個會變不一樣本地AI推論速度慢到爆炸,連高階硬體都救不了,整個部署策略都得重新想
現在就開始建立混合工作流吧——把耗時的推論工作丟到晚上跑,互動式的東西還是靠雲端
產品經理
要注意本地硬體2小時的等待時間直接殺死了『即時AI體驗』的夢想
把你的AI功能改成批次處理和夜間工作流,別想著要即時反應了