아래로 당겨서 돌아가기
고품질 GGUF 양자화를 직접 만드는 도구 (문서 + 웹 UI)

고품질 GGUF 양자화를 직접 만드는 도구 (문서 + 웹 UI)

Tool for Creating Your Own High-Quality GGUF Quants (Docs + Web UI)

GGUF 양자화를 직접 만들고 싶다면, GGUF-Tool-Suite 문서와 간단한 웹 UI를 준비했습니다. 전체 과정이 훨씬 쉬워집니다. 문서: https://github.com/Thireus/GGUF-Tool-Suite/tree/main/docs 웹 UI: https://gguf.thireus.com/quant_assign.html 이 도구의 목표는 누구나 벤치마크를 실행하고 ik_llama.cpp 및 llama.cpp와 호환되는 모든 크기의 GGUF를 자동으로 생성할 수 있도록 하는 것입니다.

키워드

GGUF quantsmodel quantizationweb UIdocumentationopen source toolbenchmarking