下に引いて戻る
2枚のRTX PRO 6000 BlackwellでQwen3.5-122Bを198 tok/sで実行 — 予算重視の構成、検証済み結果を公開

2枚のRTX PRO 6000 BlackwellでQwen3.5-122Bを198 tok/sで実行 — 予算重視の構成、検証済み結果を公開

Running Qwen3.5-122B at 198 tok/s on Budget 2x RTX PRO 6000 Blackwell Setup — Full Results & Config Shared

あるエンジニアが1週間かけてデュアルGPU推論サーバーを最適化し、その成果をすべて公開しました。2枚のRTX PRO 6000 Blackwell(各96GB GDDR7)とEPYC 4564Pプロセッサを使用した構成で、Qwen3.5-122Bモデルで198トークン/秒の推論速度を実現。生データ、起動コマンド、測定方法論がすべて公開されており、他のユーザーが検証・再現できるようになっています。

キーワード

LLM inferencethroughput benchmarkingGPU optimizationQwen3.5token/squantizationNVFP4budget build