往下拉回到首頁
欸你知道嗎?現在可以同時用 CUDA 和 ROCm 跑 AI 模型了!

欸你知道嗎?現在可以同時用 CUDA 和 ROCm 跑 AI 模型了!

Run CUDA + ROCm simultaneously with -DGGML_BACKEND_DL=ON!

如果你有在玩大型 AI 模型(LLM),你一定知道怎麼讓 GPU 全力運作有多重要。有個工程師花了超多時間終於搞定一個超猛的東西——可以同時用 NVIDIA 的 CUDA 和 AMD 的 ROCm 一起跑模型,根本就是把兩張不同廠牌的顯卡的力量結合在一起! 簡單來說就是,他用 Minimax 2.7 Q4 這個模型測試,把全部 63 層都丟到 GPU 去跑,NVIDIA 卡處理 83.6GB、AMD 卡處理 40.3GB、CPU 處理剩下的。最扯的是速度快超多,特別是在 prefill 這個步驟(就是 AI 在思考你的問題的時候)。 說真的這也太猛了吧,感覺以後用 AI 模型可以更有彈性,不用被單一廠牌綁死。如果你是 Windows 用戶想試試看,他也有提供編譯步驟。