往下拉回到首頁
欸你知道嗎?我成功在顯卡上同時跑 hipfire 和 llamacpp,而且沒有衝突

欸你知道嗎?我成功在顯卡上同時跑 hipfire 和 llamacpp,而且沒有衝突

Got hipfire running in Docker on my RX 7900 XTX alongside llamacpp

如果你有在玩大型AI(LLM)模型的話,應該知道長文本處理有多煩。我之前用 Qwen3.6 27B 時一直卡關,後來發現了 hipfire 這個東西。簡單來說就是我花了一個晚上把它包進 Docker,現在可以跟我原本的 llamacpp 一起跑,完全不用改動既有的設定。現在在 RX 7900 XTX 這張顯卡上跑得滿順的,速度大概 40 個 token/秒,API 也很乾淨。說真的有點扯的是,hipfire 不是你想的那種「下載一個檔案就能用」的東西,設定起來有點眉角。不過一旦搞定了,效果還不錯。