欸你知道嗎，有人用普通的 AMD 顯卡（R9700）成功跑起一個超大型 AI 模型，而且速度快到不行。簡單來說就是，以前這種 397 億參數的巨無霸模型只有大公司才跑得動，現在有人找到了方法讓一般人也能在自己的電腦上用。關鍵是有個叫 u/Sea-Speaker1700 的高手開發了一種叫 mxfp4 的壓縮技術，讓 AMD 的舊顯卡也能吃得消這麼大的模型。他們還貼心地提供了 Dockerfile（就是一個自動安裝工具啦），你只要複製貼上就能開始用 vLLM 跑模型。說真的有點扯，以前要花大錢才能玩的東西，現在好像變得沒那麼遙遠了。
有人把微軟開發的 TRELLIS.2（一個把照片變成 3D 模型的 AI）改造成可以在 Mac 上跑。原本這個模型只能在 NVIDIA 的 GPU 上用，因為它用了五個特殊的 CUDA 工具（flex_gemm、flash_attn、o_voxel、cumesh、nvdiffrast），Mac 根本沒有。這個人超猛，直接自己寫了五個替代品出來，用純 Python 和 PyTorch 重新實現所有功能。簡單來說就是，現在你用 MacBook Pro 就能跑這個 AI，不用花大錢買 NVIDIA 顯卡了。對於用 Mac 的設計師或 3D 工作者來說，這根本是救星啊。
有人把微軟最新的 TRELLIS.2 AI 模型（用來把照片變成 3D 物體的）改造成可以在 Mac 上跑。原本這個模型只能在 Windows 或 Linux 上用，因為它需要特殊的 NVIDIA 顯卡技術。這個人就把那些 NVIDIA 才有的功能用普通的 Python 程式碼重新寫了一遍，讓 Mac 的 M 系列晶片也能用。簡單來說就是，你現在不用特地買台 Windows 電腦或租雲端服務，直接用你的 MacBook 就能玩這個酷炫的 AI 功能了。如果你有在做 3D 設計或 AI 相關的工作，這個改造可能會省你不少錢。
有個人買了 M5 Pro 電腦，裝了 24GB 記憶體，想用 Ollama 跑 Qwen 3.6 這個 AI 模型。他在想要不要用 Q4 版本（就是把模型壓縮到 4 位元，檔案比較小），但又找不到好用的 Q3 版本（更小的壓縮版）。簡單來說就是在找一個平衡點——既不要電腦跑到爆炸，AI 回答的品質也不要差太多。如果你也有類似的配置，這篇討論應該能幫你省不少時間。