往下拉回到首頁
16 台超級電腦終於組好了,全部跑滿速

16 台超級電腦終於組好了,全部跑滿速

16x Spark Cluster (Build Update)

欸你知道嗎,有人剛把 16 台 DGX Spark(超級強的 AI 訓練機器)全部組好了,而且網路速度跑到最滿。說真的,這種大規模硬體組建通常超麻煩,但這次意外地還滿順的。每台機器開箱就已經裝好 Nvidia 客製化的 Ubuntu 系統,幾乎不用自己裝什麼東西。最煩的部分就是要一台一台設定帳號密碼、等系統更新(每台要等 20 分鐘左右)、設定 SSH 連線、調整網路設定之類的——不過他們聰明地寫了自動化腳本,省了不少時間。現在 16 台機器全部連到同一個交換機上,準備好開始跑 AI 訓練了。這種規模的設置,通常代表有人要開始做很大型的 AI 模型訓練,值得關注。

白話點評

有人剛剛超隨便地組了16個GPU叢集,就像周末DIY一樣。未來已經來了,而且超貴。

有個人剛裝好16台DGX Spark——那大概是240萬美金的AI硬體——結果他講起來就像在組IKEA家具一樣輕鬆。每台Spark基本上就是一台超級電腦,裡面預裝了Nvidia客製化的Ubuntu和所有訓練大型模型需要的東西。設置流程呢?架上去、開機、設定網路、跑個腳本——砰,你就有了一個能處理會讓你筆電哭出來的AI工作量的叢集。讓我最傻眼的是這聽起來有多隨便。每台機器更新20分鐘、一些SSH設定、網路用巨型幀——突然間你就在跑大多數公司只能夢想的基礎設施。這不是什麼科技巨頭的資料中心,這是某個人的組裝日誌。

結論如果你還在想GPU叢集只有大公司才玩得起,醒醒吧——去查一下單台DGX的價格,開始規劃你的基礎設施藍圖吧。
7/10

AI 怎麼看

AI基礎設施

high
你可以做什麼

現在就開始編列多節點設置的預算吧——單GPU訓練已經變成基本配備了,再不準備就落伍

重點是什麼

有人剛剛超隨便地部署了16台企業級AI工作站,就像在家裡組裝實驗室一樣

為什麼要在乎

你現在遇到的訓練瓶頸,跟接下來要面對的比起來根本小巫見大巫

這跟你的工作有關嗎

機器學習工程師

整個會變不一樣
為什麼會這樣

多節點叢集已經變成標準基礎設施,不再是奢侈品了

你可以怎麼做

趕快學分散式訓練框架——你那套單GPU的經驗已經不夠看了

DevOps工程師

好消息
為什麼會這樣

隨著公司AI規模擴大,基礎設施部署變成核心技能

你可以怎麼做

親手操作GPU叢集管理吧——這就是基礎設施工作的未來方向

這些詞是什麼意思

DGX Spark(DGX Spark工作站)
Nvidia的企業級AI工作站,塞滿了多個GPU,專門為認真的機器學習設計。就像是一台超級電腦裝在一個箱子裡,價格比大多數人的車還貴。
Line Rate(線速)
網路設備以最大理論速度處理資料,不掉封包。在這個叢集裡就是說每條連線都在全速運作。
Jumbo Frames(巨型幀)
更大的網路封包,能減少高效能運算的額外負擔。對於GPU叢集來說超重要,因為你要在節點之間傳輸超大量的訓練資料。