下に引いて戻る
RTX Pro 6000 で vllm を最適に設定するには?

RTX Pro 6000 で vllm を最適に設定するには?

Best RTX Pro 6000 vllm settings?

会社用に RTX Pro 6000 Blackwell ワークステーションカードを導入しました。Qwen3 27B FP8 モデルで良好なスループット(TPS)を達成しています。特定のタスクに特化した複数の AI エージェントを実行中です。vllm 0.20.1 nightly(CUDA 13.1)で速度と並行処理のバランスを最適化したいところです。 エンジン 000 の現在の状態:平均プロンプトスループット 763.5 tokens/s、平均生成スループット 1320.2 tokens/s、実行中リクエスト 28、待機中リクエスト 0、GPU KV キャッシュ使用率 50.4%、プレフィックスキャッシュヒット率 1.3%、マルチモーダルキャッシュヒット率 0%。