這篇文章介紹如何在 llama.cpp 這個高效率的 C++ 框架中整合光學字元辨識（OCR）模型。llama.cpp 讓你可以在自己的電腦上執行大型語言模型，現在還能加入 OCR 功能來提取和處理文字。簡單來說就是把掃描的文件、截圖或圖片中的文字自動轉成可編輯的文本，而且全部在本機離線完成，不用上傳到雲端。
我將微軟的 TRELLIS.2 移植到 Apple Silicon 上，透過 PyTorch MPS 運行。原始版本依賴五個僅限 CUDA 的編譯擴展（flex_gemm、flash_attn、o_voxel、cumesh、nvdiffrast），在 Mac 上沒有對應版本。我從零開始編寫了替代後端：純 PyTorch 稀疏 3D 卷積（替代 flex_gemm）、使用空間雜湊的 Python 網格提取（替代 o_voxel 中的 CUDA 雜湊映射操作）、用於稀疏 Transformer 的 SDPA 注意力機制（替代 flash_attn），以及 GPU 加速的三線性插值（替代 cumesh 和 nvdiffrast）。
我將微軟的 TRELLIS.2（40 億參數的圖像轉 3D 模型）移植到 Apple Silicon 上，透過 PyTorch MPS 執行。原始版本需要 CUDA 搭配 flash_attn、nvdiffrast 和自訂稀疏卷積核心——這些在 Mac 上都無法運作。我用純 PyTorch 替代方案取代了 CUDA 特定操作：包括 gather-scatter 稀疏 3D 卷積、用於稀疏 Transformer 的 SDPA 注意力機制，以及以 Python 實現的網格提取（取代 CUDA 雜湊表操作）。總共在 9 個檔案中修改了數百行程式碼。
有位使用者在 M5 Pro 機器上配置了 24GB 記憶體，想用 Ollama 執行 Qwen 3.6 大型語言模型（LLM），但不確定該選擇 Q4 量化版本（4 位元量化）。他們找不到合適的 Q3 量化解決方案，希望能獲得建議，找到在他們的硬體配置上既能順利運行，又不會過度犧牲模型品質的版本。