下に引いて戻る
RX 7900 XTXでhipfireをDockerで動かしながらllamacppも並行実行

RX 7900 XTXでhipfireをDockerで動かしながらllamacppも並行実行

Got hipfire running in Docker on my RX 7900 XTX alongside llamacpp

Qwen3.6 27Bの長いコンテキスト処理で問題が出てて、hipfireを見つけた。一晩かけてDockerize して、既存のllamacppスタックと一緒に動かせるようにした。7900 XTXでQwen3.6 27B MQ4を実行中。TriAttentionサイドカーとDFlashドラフトの両方がログで正常にロードされてる。速度は約40トークン/秒で、DFlashが実際に動いてるかはまだ確認してない。でも応答は正しいし、APIも綺麗。ハマったのはhipfireが単一バイナリじゃないってこと。