往下拉回到首頁
欸你知道嗎?Mistral 最強 AI 模型現在可以在自己電腦跑了

欸你知道嗎?Mistral 最強 AI 模型現在可以在自己電腦跑了

Mistral Medium 3.5 128B Now Available in MLX 4-bit Format (~70 GB)

有個工程師把 Mistral 最新的超大型 AI 模型(Mistral Medium 3.5 128B)轉換成可以在一般電腦跑的版本,只需要 70GB 空間。簡單來說就是把模型「壓縮」了,但功能一點都沒少——它還是能看圖片、會自己思考推理、可以呼叫工具,而且能記住超長的對話(256K 個 token,根本無敵)。過程中還發現並修了一個小蟲子,本來有 438 個參數會被漏掉,現在都救回來了。唯一的小遺憾是目前還不支援某個加速技術,所以跑起來可能不是最快,但整體來說這真的滿猛的——以前這種等級的模型根本跑不動,現在有機會了。