往下拉回到首頁
欸你知道嗎?用舊顯卡也能跑超大 AI 模型,關鍵是這個新技術

欸你知道嗎?用舊顯卡也能跑超大 AI 模型,關鍵是這個新技術

Got DFlash speculative decoding working on Qwen3.5-35B-A3B with an RTX 2080 SUPER 8GB

有個工程師做了一件滿狂的事——他用一張只有 8GB 記憶體的舊顯卡(RTX 2080 SUPER),成功跑起了一個超大的 AI 模型(Qwen3.5-35B)。簡單來說就是他用了一個叫「DFlash 推測解碼」的新技術,這就像是讓 AI 邊走邊猜下一步,不用每次都從頭算,所以速度快很多。他還聰明地把模型壓縮(量化)到剛好能裝進顯卡裡。說真的,這代表你不一定要買最新最貴的顯卡才能玩大型 AI 模型,用舊硬體加上聰明的技巧也行。如果你有在考慮自己架 AI 系統,這個消息應該會讓你荷包輕鬆不少。