아래로 당겨서 돌아가기
RX 7900 XTX에서 Docker로 hipfire를 llamacpp와 함께 실행 중

RX 7900 XTX에서 Docker로 hipfire를 llamacpp와 함께 실행 중

Got hipfire running in Docker on my RX 7900 XTX alongside llamacpp

Qwen3.6 27B의 긴 컨텍스트 문제로 고생하다가 hipfire를 발견했다. 저녁 시간을 들여서 Docker화했고, 기존 llamacpp 스택과 함께 병렬로 실행할 수 있게 됐다. 7900 XTX에서 Qwen3.6 27B MQ4를 실행 중인데, TriAttention 사이드카와 DFlash 드래프트 모두 로그에서 정상 로드됨. 속도는 약 40토큰/초 정도고, DFlash가 실제로 작동하는지는 아직 확인 안 했지만 응답은 정확하고 API도 깔끔하다. 한 가지 헷갈렸던 점은 hipfire가 단순한 단일 바이너리가 아니라는 것.