ubergarm/Kimi-K2.6-GGUF Q4_X 現已推出

感謝 jukofyork 和 AesSedai 今天提供的建議，讓我成功壓縮量化（quantize）了「完整版」Kimi-K2.6 的 Q4_X 模型。只要你有超過 584GB 的 RAM+VRAM，這個模型就能在 ik 和主線 llama.cpp 上運行。我稍後會分享 imatrix 的方法給其他想製作客製化量化版本的人，以及一些能在 ik_llama.cpp 上執行的較小量化版本。AesSedai 應該也會很快推出針對主線 MoE 最佳化的配方！期待看看這個大傢伙和 GLM-5.1 的表現比較。