下に引いて戻る
-DGGML_BACKEND_DL=ON で CUDA と ROCm を同時実行!

-DGGML_BACKEND_DL=ON で CUDA と ROCm を同時実行!

Run CUDA + ROCm simultaneously with -DGGML_BACKEND_DL=ON!

かなりの時間をかけて、ついに Minimax 2.7 Q4 のような大規模言語モデルを CUDA と ROCm で同時に実行できるようになりました。Vulkan を完全に回避できます。セットアップでは 63 層すべてを GPU にオフロードし、CUDA が 83.6GB、ROCm が 40.3GB、CPU が残りを処理します。最大の利点は prefill のパフォーマンスが劇的に向上することです。Windows では build ディレクトリをクリアして、CMake と Ninja ジェネレータを使用し、AMD ROC インストールを指定します。