下に引いて戻る
16GB VRAM ユーザーは今どのモデルが好き?

16GB VRAM ユーザーは今どのモデルが好き?

16 GB VRAM users, what model do we like best now?

最近 Qwen 3.5 27b を IQ3 量化で使ってみたら結構良いんですよ。RTX 4080 で ik_llama.cpp(CUDA版)を使うと、大体 32k のコンテキスト長を問題なく詰め込めて、40+ token/秒くらいの速度が出ます。自分はローカルモデルをコーディング以外に使うので、これで十分なんです。ところで Gemma 26b MoE を TurboQuant で KV キャッシュ圧縮して IQ4 量化で行けるんじゃないかと思ってるんですけど...16GB VRAM だと本当にギリギリで、IQ4 と Q4 の品質差がけっこう目立つんですよね。

キーワード

VRAMquantizationIQ3IQ4local modelsinferencethroughputcontext window