往下拉回到首頁
有人用 32 顆舊 GPU 組出超強 AI 推理機,一秒能處理 264 個詞,但電費會吃死你

有人用 32 顆舊 GPU 組出超強 AI 推理機,一秒能處理 264 個詞,但電費會吃死你

Final Monster: 32x AMD MI50 32GB Hits 9.7 t/s Output & 264 t/s Input with Kimi K2.6

欸你知道嗎,有個狂人用 32 顆 AMD MI50 GPU(這是幾年前的舊顯卡啦)組裝了一台超級電腦,跑一個叫 Kimi K2.6 的開源 AI 模型。結果有多猛?輸出速度每秒 9.7 個詞,輸入速度每秒 264 個詞——簡單來說就是,你問它問題,它吐答案的速度快到不行。 但這裡有個問題:這台機器閒置就吃 640W 電,真的在跑 AI 推理時會吃到 4.8kW——你家裡吹冷氣都沒這麼兇。所以他自己也說了,這東西根本不划算,除非你有免費電力(比如裝太陽能板或住在資料中心旁邊)。 整個設置其實就是兩個 16GPU 的機器用網路線接起來,證明了如果你不怕電費,自己組超大 AI 推理系統是真的可行的。但說真的,這更像是在秀肌肉,實際上沒什麼商業價值啦。