往下拉回到首頁
用 2 張 RTX PRO 6000 Blackwell 跑 Qwen3.5-122B 達到 198 tok/s — 平價方案、完整數據公開

用 2 張 RTX PRO 6000 Blackwell 跑 Qwen3.5-122B 達到 198 tok/s — 平價方案、完整數據公開

Running Qwen3.5-122B at 198 tok/s on Budget 2x RTX PRO 6000 Blackwell Setup — Full Results & Config Shared

一位開發者花了一週時間優化雙 GPU 推論伺服器,決定把所有成果公開分享。硬體配置包括 2 張 RTX PRO 6000 Blackwell(各 96GB GDDR7)、EPYC 4564P 處理器和 128GB DDR5 ECC 記憶體,成功在 Qwen3.5-122B 模型上達到 198 tokens/秒的推論速度。所有原始數據、啟動指令和測試方法都已公開,讓其他人可以驗證和複製這個成果。

關鍵字

LLM inferencethroughput benchmarkingGPU optimizationQwen3.5token/squantizationNVFP4budget build