下に引いて戻る
ubergarm/Kimi-K2.6-GGUF Q4_X がリリース

ubergarm/Kimi-K2.6-GGUF Q4_X がリリース

ubergarm/Kimi-K2.6-GGUF Q4_X now available

jukofyorkとAesSedaiのアドバイスのおかげで、「フルサイズ」のKimi-K2.6 Q4_Xの量子化に成功しました。RAM+VRAMが584GB以上あれば、ikとメインラインのllama.cppの両方で動作します。今後、カスタム量子化を作成する他の人向けにimatrixの情報を共有し、ik_llama.cppで動作する小さな量子化版もリリース予定です。AesSedaiもメインラインMoE最適化レシピをすぐにリリースするでしょう。GLM-5.1との比較が楽しみです!