在公司發現了兩張閒置的 A100X 顯卡，與其讓它們吃灰，不如拿來做點有用的事。我用 RAG（檢索增強生成）技術把本地語言模型連接到公司的庫存資料庫，員工可以直接透過 Open WebUI 對話介面查詢庫存——完全不用上雲端，資料也不會外流。整個過程對我來說是全新的挑戰，幸好有 Claude 幫忙處理技術細節。最後真的成功了，而且還滿實用的。如果你公司也有閒置的 GPU，這個方案值得參考！
我將微軟的 TRELLIS.2 移植到 Apple Silicon 上，透過 PyTorch MPS 運行。原始版本依賴五個僅限 CUDA 的編譯擴展（flex_gemm、flash_attn、o_voxel、cumesh、nvdiffrast），在 Mac 上沒有對應版本。我從零開始編寫了替代後端：純 PyTorch 稀疏 3D 卷積（替代 flex_gemm）、使用空間雜湊的 Python 網格提取（替代 o_voxel 中的 CUDA 雜湊映射操作）、用於稀疏 Transformer 的 SDPA 注意力機制（替代 flash_attn），以及 GPU 加速的三線性插值（替代 cumesh 和 nvdiffrast）。
我將微軟的 TRELLIS.2（40 億參數的圖像轉 3D 模型）移植到 Apple Silicon 上，透過 PyTorch MPS 執行。原始版本需要 CUDA 搭配 flash_attn、nvdiffrast 和自訂稀疏卷積核心——這些在 Mac 上都無法運作。我用純 PyTorch 替代方案取代了 CUDA 特定操作：包括 gather-scatter 稀疏 3D 卷積、用於稀疏 Transformer 的 SDPA 注意力機制，以及以 Python 實現的網格提取（取代 CUDA 雜湊表操作）。總共在 9 個檔案中修改了數百行程式碼。
有位使用者在 M5 Pro 機器上配置了 24GB 記憶體，想用 Ollama 執行 Qwen 3.6 大型語言模型（LLM），但不確定該選擇 Q4 量化版本（4 位元量化）。他們找不到合適的 Q3 量化解決方案，希望能獲得建議，找到在他們的硬體配置上既能順利運行，又不會過度犧牲模型品質的版本。