RTX Pro 6000에서 vllm 최적 설정은?

회사용으로 RTX Pro 6000 Blackwell 워크스테이션 카드를 구입했습니다. Qwen3 27B FP8 모델에서 좋은 처리량(TPS)을 얻고 있습니다. 특정 작업에 특화된 여러 AI 에이전트를 실행 중입니다. vllm 0.20.1 nightly(CUDA 13.1)에서 속도와 동시성의 최적 균형을 찾으려고 합니다. 엔진 000 현황: 평균 프롬프트 처리량 763.5 tokens/s, 평균 생성 처리량 1320.2 tokens/s, 실행 중 요청 28개, 대기 중 요청 0개, GPU KV 캐시 사용률 50.4%, 프리픽스 캐시 히트율 1.3%, 멀티모달 캐시 히트율 0%.