往下拉回到首頁
TRELLIS.2 圖像轉 3D 現在可在 Mac(Apple Silicon)上運行 - 無需 NVIDIA GPU

TRELLIS.2 圖像轉 3D 現在可在 Mac(Apple Silicon)上運行 - 無需 NVIDIA GPU

TRELLIS.2 image-to-3D now runs on Mac (Apple Silicon) - no NVIDIA GPU needed

我將微軟的 TRELLIS.2 移植到 Apple Silicon 上,透過 PyTorch MPS 運行。原始版本依賴五個僅限 CUDA 的編譯擴展(flex_gemm、flash_attn、o_voxel、cumesh、nvdiffrast),在 Mac 上沒有對應版本。我從零開始編寫了替代後端:純 PyTorch 稀疏 3D 卷積(替代 flex_gemm)、使用空間雜湊的 Python 網格提取(替代 o_voxel 中的 CUDA 雜湊映射操作)、用於稀疏 Transformer 的 SDPA 注意力機制(替代 flash_attn),以及 GPU 加速的三線性插值(替代 cumesh 和 nvdiffrast)。

科技博主觀點

有人剛把微軟最強的 3D AI 從 NVIDIA 監獄裡救出來 — 你的 MacBook 馬上要變成 3D 建模怪獸

微軟的 TRELLIS.2 可以把任何圖片變成 3D 模型,但它被五個只能在 CUDA 上跑的函式庫鎖死了,只能在 Windows 加 NVIDIA 的組合上用。結果有個絕對的狂人花了好幾週時間從零開始重寫每一個,讓它們在 Apple Silicon 上跑。我們講的是純 PyTorch 稀疏 3D 卷積、用空間雜湊做網格提取,還有不需要 CUDA 的 GPU 加速注意力機制。這不只是個移植 — 這是對 3D AI 應該怎麼做的完全重新想像。一個人就能反向工程並取代微軟整個 CUDA 堆疊,這說明了這些硬體障礙有多人為。你的 M1 MacBook Pro 馬上要做到上個月還需要五千美金工作站才能做的事。

結論馬上下載,看著你的筆電把照片變成 3D 模型 — 3D AI 民主化剛剛進入超光速。
9/10

Action

馬上試用
1從 GitHub 複製 Mac 相容版本的 repo
2安裝支援 MPS 的 PyTorch 和必要的相依套件
3用任何圖片執行示範腳本,生成你的第一個 3D 模型
Before

需要三千美金以上的 NVIDIA 工作站才能跑最尖端的圖片轉 3D AI 模型

After

直接在你的 MacBook Pro 上用 Apple Silicon 從照片生成 3D 模型

AI 分析

3D 內容創作

high
應採取行動

馬上在你的 Mac 上測試 TRELLIS.2 — 這根本可以取代你整個概念設計的 3D 建模流程

關鍵洞察

有人把微軟最尖端的圖片轉 3D 技術搬到筆電上,從零開始重寫了五個完整的 CUDA 函式庫

為什麼重要

你再也不需要花三千美金買 NVIDIA 工作站來把草圖變成 3D 模型 — 你的 MacBook Pro 就能做

遊戲開發

high
應採取行動

下載這個移植版本,開始用概念美術快速製作 3D 資產原型 — 可能會徹底改變你的資產製作流程

關鍵洞察

Mac 開發者和 AI 驅動 3D 生成之間的技術障礙一夜之間消失了

為什麼重要

你的獨立遊戲工作室現在可以生成 3D 模型,不用買昂貴的硬體或改用 Windows

職位影響分析

3D 美術師

角色轉型
影響成因

圖片轉 3D 生成現在可以在標準 Mac 硬體上執行,讓進階 3D 創作工具民主化了

應對策略

現在就學這個工作流程 — 一旦客戶發現你能從參考圖快速生成基礎模型,他們會期待更快的交期

獨立遊戲開發者

機會
影響成因

Mac 開發者現在可以用微軟最先進的 3D 生成技術,不需要 NVIDIA GPU

應對策略

馬上整合到你的資產製作流程 — 更快製作原型,把預算花在打磨遊戲而不是建模上

AI 研究員

機會
影響成因

有人證明了可以用純 PyTorch 取代複雜的 CUDA 操作,讓研究更容易進行

應對策略

研究這個移植版本的架構 — 這是一堂關於如何讓 GPU 限制研究變得通用的大師課

關鍵字

image-to-3DMac compatibilityCUDA replacementPyTorch MPSsparse convolutionmesh extractionflash attention alternative

名詞解釋

TRELLIS.2(TRELLIS.2)
微軟最先進的 AI 模型,可以把 2D 圖片轉換成 3D 模型,原本只能在昂貴的 NVIDIA 硬體上跑,直到這個 Mac 移植版本把它解放出來
PyTorch MPS(PyTorch MPS)
蘋果的 Metal Performance Shaders 後端,讓 AI 模型可以在 Mac GPU 上跑,不用依賴 NVIDIA CUDA
Sparse 3D Convolution(稀疏3D卷積)
一種高效處理 3D 資料的方式,只在非空的體素上計算,這個移植版本在沒有 CUDA 的情況下重新實現了它
Flash Attention(Flash注意力機制)
記憶體高效的注意力機制,原本只能在 CUDA 上跑,直到這個移植版本用 PyTorch 的 SDPA 取代它以相容 Mac
Mesh Extraction(網格提取)
把 3D 體素資料轉換成三角形網格,這個移植版本用空間雜湊而不是 CUDA hashmap 達成