下に引いて戻る
究極マシン:32個のAMD MI50 32GBでKimi K2.6を実行、9.7 t/s(出力)&264 t/s(入力)を達成

究極マシン:32個のAMD MI50 32GBでKimi K2.6を実行、9.7 t/s(出力)&264 t/s(入力)を達成

Final Monster: 32x AMD MI50 32GB Hits 9.7 t/s Output & 264 t/s Input with Kimi K2.6

誰かが究極のマシンを組み立てました:32個のAMD MI50 GPUでKimi K2.6(オープンソースの大規模言語モデル)を実行し、出力速度は毎秒9.7トークン、入力速度は毎秒264トークンを達成しました。このシステムはAMD GPU向けに最適化されたカスタムvLLMフォークを使用し、アイドル時の消費電力は約640W、ピーク推論時は4.8kW——基本的に小型発電所です。正直なところ?超クールですが、太陽光発電やデータセンターの廃熱など無料電力がない限り、経済的には割に合いません。セットアップは2つの16GPU ノードを10G イーサネットケーブルで接続したもので、電気代を気にしなければ、DIYで超大規模推論クラスタを構築できることを証明しています。