아래로 당겨서 돌아가기
2개의 RTX PRO 6000 Blackwell로 Qwen3.5-122B를 198 tok/s로 실행 — 저예산 구성, 검증된 결과 공개

2개의 RTX PRO 6000 Blackwell로 Qwen3.5-122B를 198 tok/s로 실행 — 저예산 구성, 검증된 결과 공개

Running Qwen3.5-122B at 198 tok/s on Budget 2x RTX PRO 6000 Blackwell Setup — Full Results & Config Shared

한 개발자가 1주일간 듀얼 GPU 추론 서버를 최적화한 후 모든 결과를 공개했습니다. 2개의 RTX PRO 6000 Blackwell(각 96GB GDDR7)과 EPYC 4564P 프로세서를 사용한 구성에서 Qwen3.5-122B 모델로 198 토큰/초의 추론 속도를 달성했습니다. 원본 데이터, 실행 명령어, 측정 방법론이 모두 공개되어 있어 다른 사용자들이 검증하고 재현할 수 있습니다.

키워드

LLM inferencethroughput benchmarkingGPU optimizationQwen3.5token/squantizationNVFP4budget build