Intel Arc Pro B70 32GB 終於能跑 Qwen3.5-27B 了——實測速度出爐

你有沒有想過用 Intel Arc Pro B70 來跑大型 AI（LLM）推理？這個人花了好幾個晚上跟 vllm（GPU 加速框架）搏鬥，終於把它搞定了，現在有真實的效能數據可以分享。重點是：llama.cpp 和 vllm 都能在 Qwen3.5-27B Q4 量化版本上達到大約 12 個 token/秒的生成速度——還不錯，但也沒有特別驚人。有趣的是，某些最佳化技巧像是張量平行（tensor parallel）反而讓效能變差（可能跟他的 PCIe 拓撲有關），而管線平行（pipeline parallel）在批次處理時有幫助，但單一查詢時會變慢。如果你在考慮用 Arc Pro 做本地 AI 推理，這就是你需要的真實數據。