下に引いて戻る
Qwen3.6はTurboquantと相性が悪い—量化方法の比較テスト

Qwen3.6はTurboquantと相性が悪い—量化方法の比較テスト

Qwen3.6 Crashes When Using Turboquant—Here's What Happened

ユーザーがQwen3.6を3つの異なる量化方法(llama.cpp、ik_llama.cpp、Turboquant)でテストしました。環境は2つのGPU(3080と3060、各12GB)で、量化パラメータ(turbo3 vs q8_0)以外の設定は完全に同じです。結果はTurboquantだけが失敗し、他の2つの方法は正常に動作しました。TheTom/llama-cpp-turboquantの実装を使用しています。限られたVRAMでQwen3.6をローカルで実行したい場合、Turboquantはまだ安定していない可能性があるという警告です。