下に引いて戻る
Mistral Medium 3.5 128B が MLX 4ビット版で利用可能に(約70GB)

Mistral Medium 3.5 128B が MLX 4ビット版で利用可能に(約70GB)

Mistral Medium 3.5 128B Now Available in MLX 4-bit Format (~70 GB)

Mistral Medium 3.5 128B を MLX 4ビット量子化形式に変換したバージョンが登場。この巨大モデルが一般的なハードウェアで実際に動作するようになりました。変換版には完全なビジョンエンコーダ(BF16未量子化)、動作する思考モード(推論チェーン)、ツール呼び出し機能、そして256Kの巨大なコンテキストウィンドウが含まれています。変換過程で mlx-vlm の mistral3 サニタイズ関数にバグが見つかりました。ビジョンタワーとプロジェクターキーからモデルプレフィックスを削除していなかったため、438個のパラメータがスキップされていました。変換前にローカルで修正済み。ただし MLX はまだ推測デコーディング用の Eagle モデルに対応していないため、推論速度は最適とは言えません。