下に引いて戻る
高品質なGGUF量子化を自分で作成するツール(ドキュメント+ウェブUI)

高品質なGGUF量子化を自分で作成するツール(ドキュメント+ウェブUI)

Tool for Creating Your Own High-Quality GGUF Quants (Docs + Web UI)

GGUF量子化を自分で作りたい人向けに、GGUF-Tool-SuiteのドキュメントとシンプルなウェブUIを用意しました。プロセスがずっと簡単になります。 ドキュメント:https://github.com/Thireus/GGUF-Tool-Suite/tree/main/docs ウェブUI:https://gguf.thireus.com/quant_assign.html このツールの目的は、誰でもベンチマークを取ったり、ik_llama.cppやllama.cppに対応した任意のサイズのGGUFを自動生成できるようにすることです。

キーワード

GGUF quantsmodel quantizationweb UIdocumentationopen source toolbenchmarking