下に引いて戻る
Intel Arc Pro B70 32GB で Qwen3.5-27B がようやく動いた—実測速度を公開

Intel Arc Pro B70 32GB で Qwen3.5-27B がようやく動いた—実測速度を公開

Intel Arc Pro B70 32GB Finally Works with Qwen3.5-27B—Here's the Real Speed Numbers

Intel Arc Pro B70 GPU を使って AI モデルの推論を走らせたいと思ったことはありませんか?このユーザーは vllm(GPU 高速化フレームワーク)と何晩も格闘した末、ついに動かすことに成功しました。実測データによると、llama.cpp と vllm の両方で Qwen3.5-27B の Q4 量化版において約 12 トークン/秒の生成速度を達成しています。興味深いことに、テンソル並列化などの最適化技法は逆にパフォーマンスを低下させてしまい(PCIe トポロジーの影響の可能性)、パイプライン並列化はバッチ処理では改善されますが、単一クエリでは低下します。Arc Pro でローカル AI 推論を検討しているなら、この実測データは必見です。

キーワード

GPU performancetoken generationinferencetensor parallelpipeline parallelLLM inference optimization