下に引いて戻る
RTX 2080 SUPER 8GBでDFlash推測デコーディングをQwen3.5-35B-A3Bで実装成功

RTX 2080 SUPER 8GBでDFlash推測デコーディングをQwen3.5-35B-A3Bで実装成功

Got DFlash speculative decoding working on Qwen3.5-35B-A3B with an RTX 2080 SUPER 8GB

開発者がメモリ制限のあるGPU環境でDFlash推測デコーディング技術の実装に成功しました。わずか8GBのVRAMを搭載したRTX 2080 SUPERを使用して、35Bパラメータの Qwen3.5-35B-A3Bモデル(Q5_K_Mに量子化、約24.44GB)を実行し、より小さいQ4_K_Mドラフトモデルで推論を高速化しています。CUDA バックエンドを採用し、llama.cpp リポジトリのDFlash PRに基づいてテストされており、消費者向けハードウェアでも適切な量子化とモデル選択により、高度な推論最適化技術が実現可能であることを実証しています。