往下拉回到首頁
16GB 顯卡的人現在都在用什麼 AI 模型?

16GB 顯卡的人現在都在用什麼 AI 模型?

16 GB VRAM users, what model do we like best now?

欸你知道嗎,我最近用 Qwen 3.5 27b 這個模型,用 IQ3 量化(就是把模型檔案壓小的技術啦),效果還滿不錯的。在我的 RTX 4080 顯卡上跑,大概可以一次處理 32k 個字的長度,速度還能保持在 40 個字/秒以上,對我來說夠用了因為我主要不是拿來寫程式。我現在在想,Gemma 26b MoE 這個模型能不能用更激進的壓縮方式,這樣就能用 IQ4 量化來省更多空間?說真的 16GB 顯卡有點緊繃啦,因為 IQ4 和 Q4 的品質差異滿明顯的,有點難取捨。

相關標籤

VRAMquantizationIQ3IQ4local modelsinferencethroughputcontext window