往下拉回到首頁
推測解碼讓 Gemma 4 31B 快了 29%,寫程式碼快 50%

推測解碼讓 Gemma 4 31B 快了 29%,寫程式碼快 50%

Speculative Decoding Boosts Gemma 4 31B Speed by 29% Average, 50% on Code Tasks

我用推測解碼(speculative decoding)這個技巧來加速 Gemma 4 31B,用它的小版本 4.65B 當「預測助手」。簡單來說就是讓小模型先猜下一個字會是什麼,大模型確認後就直接跳過,省掉一堆計算。結果超乎預期——在 RTX 5090 上平均快了 29%,寫程式碼的時候甚至快了 50%。這不是什麼複雜的黑科技,就是聰明地用小模型當跑腿,讓大模型專心做重要的決定。如果你有在本地跑大型語言模型(LLM),這招絕對值得試試。

關鍵字

speculative decodingGemma 4 31Bdraft modelinference optimizationthroughput improvementcode generationRTX 5090TurboQuant