下に引いて戻る
1トークン/秒から100トークン/秒へ:あなたの古いハードウェアがスーパーコンピュータに変身

1トークン/秒から100トークン/秒へ:あなたの古いハードウェアがスーパーコンピュータに変身

From 1 token/sec to 100 tokens/sec: Your old hardware just became a supercomputer

2年前、Llama 405Bをローカルで毎秒1.2トークンで実行できたときの興奮を覚えていますか?今、同じハードウェアでQwen 3.5-397B、DeepSeek V4 Flash、Minimax 2.7といった最先端のAIモデルを毎秒30~100トークンで実行でき、Llama 405Bをはるかに上回るパフォーマンスを発揮しています。速度の向上は驚異的です。かつて高額なGPUが必要だった処理が、すでに所有しているハードウェアで実行できるようになりました。このペースの進化を見ると、来年何が可能になるのか想像もつきません。