下に引いて戻る
16GB M3 MacBook Air で Qwen 3.5 35B を 8.9 TPS で動かす方法

16GB M3 MacBook Air で Qwen 3.5 35B を 8.9 TPS で動かす方法

Running Qwen 3.5 35B on a 16GB M3 MacBook Air at 8.9 TPS - Here's How

16GB の M3 MacBook Air で Qwen 3.5 35B という巨大な言語モデルを、メモリマッピング(mmap)を使って実行することに成功しました。8.9 トークン/秒という速度は、モデルが RAM より遥かに大きいことを考えると、なかなか悪くない結果です。コツは何か?GGUF 量化でモデルを圧縮し、mmap でディスクとメモリ間のデータ交換を効率的に行うことです。Hugging Face からモデルをダウンロードするところから始めて、具体的なセットアップ手順を説明します。余計な説明は抜きにして、Mac でローカルに強力な AI を実行したい人向けの実践的なガイドです。