往下拉回到首頁
欸你知道嗎?現在 Mac 也能跑微軟的 AI 3D 模型,根本不用買貴貴的 GPU

欸你知道嗎?現在 Mac 也能跑微軟的 AI 3D 模型,根本不用買貴貴的 GPU

TRELLIS.2 image-to-3D now runs on Mac (Apple Silicon) - no NVIDIA GPU needed

有人把微軟開發的 TRELLIS.2(一個把照片變成 3D 模型的 AI)改造成可以在 Mac 上跑。原本這個模型只能在 NVIDIA 的 GPU 上用,因為它用了五個特殊的 CUDA 工具(flex_gemm、flash_attn、o_voxel、cumesh、nvdiffrast),Mac 根本沒有。這個人超猛,直接自己寫了五個替代品出來,用純 Python 和 PyTorch 重新實現所有功能。簡單來說就是,現在你用 MacBook Pro 就能跑這個 AI,不用花大錢買 NVIDIA 顯卡了。對於用 Mac 的設計師或 3D 工作者來說,這根本是救星啊。

白話點評

有人剛把微軟最強的 3D AI 從 NVIDIA 監獄裡救出來 — 你的 MacBook 馬上就要變成 3D 建模怪獸

微軟的 TRELLIS.2 可以把任何圖片變成 3D 模型,但它被五個只能用 CUDA 的函式庫鎖死,根本只能在 Windows + NVIDIA 上跑。結果有個絕對的天才花了好幾週時間,從零開始把每一個都重寫成能在 Apple Silicon 上執行的版本。我們在講的是純 PyTorch 的稀疏 3D 卷積、用空間雜湊做的自訂網格提取,還有不需要 CUDA 的 GPU 加速注意力機制。這不只是一個移植版本 — 這是對 3D AI 應該怎麼做的完全重新想像。一個人就能反向工程並取代微軟整個 CUDA 堆疊,這根本說明了這些硬體障礙有多人為。你的 M1 MacBook Pro 馬上就要做到上個月還需要五千美金工作站才能做的事。

結論馬上下載,看著你的筆電把照片變成 3D 模型 — 3D AI 民主化剛剛進入超光速模式
9/10

Action

馬上試用
1從 GitHub 複製 Mac 相容版本的分支
2安裝有 MPS 支援的 PyTorch 和需要的相依套件
3用任何圖片執行示範腳本,生成你的第一個 3D 模型
Before

需要三千美金以上的 NVIDIA 工作站才能跑最尖端的圖片轉 3D AI 模型

After

直接在你的 MacBook Pro 上用 Apple Silicon 從照片生成 3D 模型

AI 怎麼看

3D 內容創作

high
你可以做什麼

馬上在你的 Mac 上試試 TRELLIS.2 — 這根本可以取代你整個 3D 建模的概念階段流程

重點是什麼

有人把微軟最尖端的圖片轉 3D 技術搬到筆電上,還從零開始重寫了五個完整的 CUDA 函式庫

為什麼要在乎

你再也不用花三千美金買 NVIDIA 工作站來把草圖變成 3D 模型 — MacBook Pro 就能做

遊戲開發

high
你可以做什麼

下載這個移植版本,開始用概念美術原型製作 3D 資產 — 可能會徹底改變你的資產製作流程

重點是什麼

Mac 開發者和 AI 驅動的 3D 生成之間的技術障礙一夜之間就消失了

為什麼要在乎

你的獨立遊戲工作室現在可以生成 3D 模型,不用買昂貴的硬體或改用 Windows

這跟你的工作有關嗎

3D 美術師

整個會變不一樣
為什麼會這樣

圖片轉 3D 生成現在可以在一般 Mac 硬體上執行,讓進階 3D 創作工具民主化了

你可以怎麼做

現在就學這個工作流程 — 客戶一旦發現你能從參考圖快速生成基礎模型,他們就會期待更快的交期

獨立遊戲開發者

好消息
為什麼會這樣

Mac 開發者現在可以用微軟最先進的 3D 生成技術,不需要 NVIDIA GPU

你可以怎麼做

馬上把這個整合進你的資產製作流程 — 原型製作更快,預算可以花在打磨遊戲而不是建模

AI 研究員

好消息
為什麼會這樣

有人證明了你可以用純 PyTorch 取代複雜的 CUDA 操作,讓研究變得更容易取得

你可以怎麼做

研究這個移植版本的架構 — 這是如何讓 GPU 專屬研究變成全球通用的大師級教學

相關標籤

image-to-3DMac compatibilityCUDA replacementPyTorch MPSsparse convolutionmesh extractionflash attention alternative

這些詞是什麼意思

TRELLIS.2(TRELLIS.2)
微軟最先進的 AI 模型,可以把 2D 圖片轉成 3D 模型,原本只能用昂貴的 NVIDIA 硬體跑,直到這個 Mac 移植版本把它解放出來
PyTorch MPS(PyTorch MPS)
蘋果的 Metal Performance Shaders 後端,讓 AI 模型可以在 Mac GPU 上跑,不用非得要 NVIDIA CUDA
Sparse 3D Convolution(稀疏3D卷積)
只在非空的體素上計算,有效率地處理 3D 資料的方法,這個移植版本重新實現它時完全不用 CUDA
Flash Attention(Flash注意力機制)
省記憶體的注意力機制,原本只能用 CUDA,直到這個移植版本用 PyTorch 的 SDPA 取代它來相容 Mac
Mesh Extraction(網格提取)
把 3D 體素資料轉成三角形網格,這個移植版本用空間雜湊做到,不用 CUDA 雜湊表