DiffusionLLM - Inception Mercury 2 在 NVIDIA H100 GPU 上達到每秒 11,000 個 token

Inception Labs昨天丟出Mercury 2，數字根本離譜——H100 GPU上跑11,000個token每秒。講白一點，大多數正式環境的LLM都在以每秒幾百個token的速度爬行，為了追求準確度結果用戶在那邊狂敲桌子等回應。但這裡才是最扯的地方：Mercury 2用的是擴散模型（diffusion models），就是那種驅動DALL-E圖像生成的技術，只是現在被用來生成文字。根本像是有人在AI研究室走錯方向，結果意外解決了大家都在忽視的速度問題。如果這東西真的能在正式環境保持品質——我說的是『如果』啦——我們就要看到真正的即時AI對話、便宜到不行的API成本，還有那些原本『太慢沒辦法上線』的AI功能全部起死回生。整個推論成本的遊戲規則直接被翻轉了。