往下拉回到首頁
為什麼還沒人做出便宜的 AI 晶片讓我們在家裡用?

為什麼還沒人做出便宜的 AI 晶片讓我們在家裡用?

Why hasn't anyone shipped a consumer AI inference chip yet?

欸你知道嗎,這幾年 AI 新創公司拿到超多錢,但怎麼還是沒人做出一個 200 美元左右的小東西,插進電腦就能跑 Llama 3,速度快到可以正常讀文章,只吃一點點電,就這樣?有個公司 Taalas 有點在做,但只給大公司的資料中心用。為什麼啦?說真的,現在那些免費開放的 AI 模型已經夠強了,可以搞定 90% 一般人真正會用到的事情,而且未來幾年應該還是這樣。那個「等晶片做好時模型就過時了」的理由根本不成立啊。到底是什麼東西卡住了?這問題問得一點都不蠢,反而滿值得想想的。

白話點評

那顆能改變一切的 200 美金 AI 晶片卡在開發地獄裡

有人問了一個我幾個月來一直在想的問題:都已經有幾十億美金砸進 AI,開源模型也真的好用,為什麼我買不到一個 200 美金的 USB 隨身碟,可以在我筆電上用閱讀速度跑 Llama 3?技術根本存在啊——我們有能處理 90% 一般人真正想做的事的模型,Taalas 這種公司都已經在賣資料中心用的推論晶片了。但不知道為什麼,沒人搞定消費市場。那套「模型會在晶片出貨前就過時」的藉口現在根本站不住腳,Llama 3 都已經夠用到不行了。真正的瓶頸不是技術——是硬體公司怕死了,怕自己成為那個 AI 泡沫破掉時還在手上拿著貨的冤大頭。結果呢,我們這些早期採用者就坐在這邊,信用卡都準備好了,就等著誰來解決這個問題我們就砸錢。

結論第一個用 200 美金的價格推出像樣消費級 AI 晶片的公司,會統治接下來十年——去找他們的 A 輪融資然後把錢砸下去。
8/10

AI 怎麼看

消費性電子產品

high
你可以做什麼

現在就開始做 AI 優先的裝置原型吧——搶第一個吃螃蟹的時間窗口快關了

重點是什麼

硬體的瓶頸根本不是技術問題——是沒人想當那個花 200 美金做出磚頭的公司,萬一 AI 熱潮冷掉就慘了

為什麼要在乎

你下一台筆電可能是最後一台沒有專用 AI 晶片的,早期採用者會有超大的生產力優勢

這跟你的工作有關嗎

硬體工程師

整個會變不一樣
為什麼會這樣

消費級 AI 晶片的競賽要爆發了——誰先搞定 200 美金的價位點誰就贏整個市場

你可以怎麼做

把 ASIC 設計的技能拿出來用,開始跟 AI 新創公司搭線——這是你的 iPhone 時刻

產品經理

好消息
為什麼會這樣

消費級 AI 硬體是自從智慧型手機以來最大的未開發市場,但要在『夠用』和『尖端』之間找平衡

你可以怎麼做

去研究真正的人類想用本地 AI 做什麼,然後反向設計——別照著資料中心那套玩法

這些詞是什麼意思

Inference Chip(推論晶片)
專門設計來高效執行 AI 模型的處理器,就像文章裡提到的那個假想的 200 美金 USB 隨身碟,可以直接在你電腦上跑 Llama 3。
Llama 3(Llama 3模型)
Meta 的開源語言模型,現在已經是本地 AI 的黃金標準——好用到足以應付 90% 一般人真正想做的事,文章裡一直在強調這點。
Local AI(本地AI)
在你自己的裝置上跑 AI 模型,而不是丟到雲端——整個故事的重點就是那個失蹤的 200 美金消費級晶片,讓你用 AI 不用靠網路。