有個開發者在問大家有沒有試過一個叫「推測解碼」的技巧。簡單來說就是用一個小一點的 AI 模型先猜下一個字會是什麼，然後再用大模型驗證，這樣可以加快生成速度——有點像是讓助手先打草稿，老闆再檢查一樣。他想知道用 Gemma 4 或 Qwen 3.5 這兩個比較新的模型時，配哪個小模型效果最好，實際上有沒有真的快起來。他也不太確定 Qwen 3.5 在 llama.cpp 上的支援狀況怎樣。如果你有試過，他想聽聽你的經驗。
有人把微軟開發的 TRELLIS.2（一個把照片變成 3D 模型的 AI）改造成可以在 Mac 上跑。原本這個模型只能在 NVIDIA 的 GPU 上用，因為它用了五個特殊的 CUDA 工具（flex_gemm、flash_attn、o_voxel、cumesh、nvdiffrast），Mac 根本沒有。這個人超猛，直接自己寫了五個替代品出來，用純 Python 和 PyTorch 重新實現所有功能。簡單來說就是，現在你用 MacBook Pro 就能跑這個 AI，不用花大錢買 NVIDIA 顯卡了。對於用 Mac 的設計師或 3D 工作者來說，這根本是救星啊。
有人把微軟最新的 TRELLIS.2 AI 模型（用來把照片變成 3D 物體的）改造成可以在 Mac 上跑。原本這個模型只能在 Windows 或 Linux 上用，因為它需要特殊的 NVIDIA 顯卡技術。這個人就把那些 NVIDIA 才有的功能用普通的 Python 程式碼重新寫了一遍，讓 Mac 的 M 系列晶片也能用。簡單來說就是，你現在不用特地買台 Windows 電腦或租雲端服務，直接用你的 MacBook 就能玩這個酷炫的 AI 功能了。如果你有在做 3D 設計或 AI 相關的工作，這個改造可能會省你不少錢。
有個人買了 M5 Pro 電腦，裝了 24GB 記憶體，想用 Ollama 跑 Qwen 3.6 這個 AI 模型。他在想要不要用 Q4 版本（就是把模型壓縮到 4 位元，檔案比較小），但又找不到好用的 Q3 版本（更小的壓縮版）。簡單來說就是在找一個平衡點——既不要電腦跑到爆炸，AI 回答的品質也不要差太多。如果你也有類似的配置，這篇討論應該能幫你省不少時間。