往下拉回到首頁
從每秒1個token到100個token:你的舊硬體突然變成超級電腦了

從每秒1個token到100個token:你的舊硬體突然變成超級電腦了

From 1 token/sec to 100 tokens/sec: Your old hardware just became a supercomputer

還記得兩年前在本地跑Llama 405B每秒1.2個token時有多興奮嗎?現在同一套硬體可以跑Qwen 3.5-397B、DeepSeek V4 Flash、Minimax 2.7這些最新的大型AI模型,速度達到每秒30-100個token,而且效能還遠勝Llama 405B。進度快到不行。以前需要花大錢買頂級GPU才能做的事,現在用一般人已經有的設備就能跑。這種進展速度真的讓人想像不出明年會發生什麼。