往下拉回到首頁
我在 RX 7900 XTX 上用 Docker 跑起 hipfire,還能同時用 llamacpp

我在 RX 7900 XTX 上用 Docker 跑起 hipfire,還能同時用 llamacpp

Got hipfire running in Docker on my RX 7900 XTX alongside llamacpp

一直在跟 Qwen3.6 27B 的長文本問題搏鬥,後來發現了 hipfire 這個工具。花了一個晚上把它 Docker 化,現在可以跟既有的 llamacpp 堆疊並行運作,完全不用改動原本的設定。目前在 7900 XTX 上跑 Qwen3.6 27B MQ4,TriAttention sidecar 和 DFlash draft 都能正常載入(從日誌確認)。速度大約 40 個 token/秒,還沒確認 DFlash 有沒有真的在運作,但回應正確,API 也很乾淨。有個地方卡我一下:hipfire 不是單一執行檔那麼簡單。