아래로 당겨서 돌아가기
Show HN: Apple Silicon에서 TRELLIS.2 이미지-3D 생성 네이티브 실행

Show HN: Apple Silicon에서 TRELLIS.2 이미지-3D 생성 네이티브 실행

Show HN: Run TRELLIS.2 Image-to-3D generation natively on Apple Silicon

마이크로소프트의 TRELLIS.2(40억 파라미터 이미지-3D 모델)를 PyTorch MPS를 통해 Apple Silicon에서 네이티브로 실행하도록 포팅했습니다. 원본은 CUDA, flash_attn, nvdiffrast, 커스텀 희소 합성곱 커널이 필요한데 Mac에서는 작동하지 않습니다. CUDA 특화 연산을 순수 PyTorch 대안으로 교체했습니다. 구체적으로는 gather-scatter 희소 3D 합성곱, 희소 Transformer용 SDPA 어텐션, CUDA 해시맵 연산을 대체하는 Python 기반 메시 추출입니다. 총 9개 파일에서 수백 줄의 변경사항이 있습니다.

테크 블로거 관점

누군가 Microsoft의 40억 파라미터 3D AI를 MacBook에서 돌리는 코드를 깨뜨렸어. 이건 진짜 미쳤다.

Microsoft가 TRELLIS.2를 내놨는데 — 사진을 3D 객체로 변환하는 괴물 같은 모델이야 — 근데 NVIDIA GPU에만 묶여있었어. Flash attention, 커스텀 sparse convolution, CUDA hashmap — 다 있었어. 그럼 Show HN에 어떤 천재가 나타나서 '내 커피 한 잔만 기다려' 하고 이 전체 모델을 Apple Silicon에서 돌리도록 포팅했어. 겨우 몇백 줄의 코드로 CUDA 전용 연산을 순수 PyTorch 대안으로 바꿨어. 미친 건 이게 진짜 작동한다는 거야. M3 MacBook Pro에서 40억 파라미터 이미지-투-3D 모델을 돌릴 수 있어. 클라우드 없이, NVIDIA 세금 없이, GPU 대기열에 서 있을 필요 없이. 이게 바로 산업 전체를 밤새 뒤바꿀 수 있는 종류의 민주화야.

결론M-series Mac이 있으면 지금 바로 이 저장소를 클론해서 노트북이 사진을 3D 모델로 변환하는 거 봐 — 미래가 이제 휴대용이 됐어.
9/10

Action

馬上試用
1Show HN 포스트에서 Apple Silicon 포팅 저장소를 클론해
2M-series Mac에 MPS 지원이 포함된 PyTorch를 설치해
3테스트 사진으로 이미지-투-3D 생성 스크립트를 실행해
Before

Needing expensive NVIDIA GPUs and cloud services to generate 3D models from photos

After

Running 4B-parameter 3D generation locally on your MacBook Pro in minutes

AI 분석

3D 콘텐츠 제작

high
필요한 조치

지금 바로 M-series Mac에서 이거 다운로드해서 테스트해봐 — 이게 컨셉 작업용 3D 모델링 파이프라인 전체를 대체할 수 있어

핵심 인사이트

40억 개 파라미터 모델이 사진을 3D 객체로 변환하는데, 이제 1만 달러짜리 GPU 장비가 아니라 노트북에서 돌아

왜 중요한가

렌더팜에서 며칠을 기다릴 필요 없이 클라이언트 미팅 중에 3D 에셋을 프로토타입할 수 있어

게임 개발

high
필요한 조치

빠른 프로토타이핑용으로 이거 테스트해봐 — 컨셉 아트를 몇 분 안에 플레이 가능한 3D 에셋으로 변환하는 거 상상해봐

핵심 인사이트

AI 3D 생성을 NVIDIA 카드에만 묶어두던 기술적 장벽이 순수 PyTorch 대안으로 완전히 무너졌어

왜 중요한가

인디 게임 스튜디오가 이제 MacBook만으로 AAA급 에셋 파이프라인과 경쟁할 수 있어

직무 영향 분석

3D 아티스트

역할 변화
영향 원인

Microsoft의 TRELLIS.2가 사진에서 3D 모델을 생성할 수 있고, 이제 너가 이미 가지고 있는 MacBook Pro에서 돌아

대응 전략

컨셉 작업용으로 이거 실험해봐 — 너의 스킬을 대체하진 않겠지만 반복 작업 속도를 10배로 올려줄 거야

iOS 개발자

기회
영향 원인

Apple Silicon 최적화 덕분에 클라우드 의존 없이 AR 앱용 3D 콘텐츠를 로컬에서 생성할 수 있어

대응 전략

이 저장소를 포크해서 3D 생성을 ARKit 워크플로우에 직접 통합하는 거 탐색해봐

키워드

image-to-3Dmodel portingApple SiliconMPSCUDA alternativesparse convolutionmesh extraction

용어 해설

TRELLIS.2(TRELLIS.2模型)
Microsoft의 40억 파라미터 AI 모델로 2D 이미지에서 3D 객체를 생성해. 원래는 비싼 NVIDIA GPU가 필요했는데 이제 Apple Silicon에서 돌아.
PyTorch MPS(PyTorch金屬性能著色器)
PyTorch의 Apple Metal Performance Shaders 백엔드로 AI 모델이 Apple Silicon 칩에서 효율적으로 돌게 해. 이 CUDA-투-Mac 포팅의 핵심 기술이야.
Sparse Convolution(稀疏卷積)
0이 아닌 값만 처리하는 메모리 효율적인 신경망 연산이야. 3D 생성에 중요한데 원래는 CUDA 전용 코드였는데 이 포팅에서 순수 PyTorch로 바꿨어.
Flash Attention(快閃注意力機制)
보통 CUDA가 필요한 메모리 효율적인 어텐션 메커니즘인데, 이 포팅에서 PyTorch의 SDPA 어텐션으로 바꿔서 3D 생성 모델이 Mac에서 작동하게 했어.