終極怪獸：32 顆 AMD MI50 32GB 搭配 Kimi K2.6 達成 9.7 t/s（輸出）& 264 t/s（輸入）

有人組裝了一台超級怪獸：32 顆 AMD MI50 GPU 跑 Kimi K2.6（開源大型語言模型），輸出速度達到每秒 9.7 個 token，輸入速度則是每秒 264 個 token。這套系統用的是針對 AMD GPU 優化的客製化 vLLM 版本，閒置功耗約 640W，推理時尖峰功耗達 4.8kW——基本上就是一個小型發電廠。老實說？超酷沒錯，但除非你有免費電力（太陽能、資料中心廢熱等），否則根本不划算。整個設置是兩個 16GPU 節點用 10G 乙太網路線連起來，證明了只要你願意承受電費，自己組裝超大推理叢集是可行的。