往下拉回到首頁
想在自己電腦跑 AI?選錯量化版本會超慢,這份測試告訴你該選哪個

想在自己電腦跑 AI?選錯量化版本會超慢,這份測試告訴你該選哪個

Gemma 4 26B-A4B GGUF Benchmarks: Which Quantization Wins?

欸你知道嗎,如果你想在自己的電腦跑大型 AI(LLM),通常要把模型「量化」(就是把它壓縮得更小)才跑得動。但問題是,不同廠商的量化版本品質差超多。我們測試了 Gemma 4 這個 AI 模型的各種量化版本,用 KL 散度(一種衡量量化後的模型有沒有變笨的方法)來比較。結果超驚人——Unsloth 這家廠商的版本在 22 個尺寸中贏了 21 個,意思是它們能在省記憶體的同時,還能保留最多原本的準確度。簡單來說就是,如果你要自己跑 AI,選 Unsloth 的量化版本準沒錯。我們還把 Q6_K 這種量化方式改得更聰明了。想知道具體數字有多猛嗎?去看看原文吧。