아래로 당겨서 돌아가기
LLM을 로컬에서 실행하기: DGX Spark의 실무 LLM 성능 — NVIDIA Mozhgan Kabiri Chimeh

LLM을 로컬에서 실행하기: DGX Spark의 실무 LLM 성능 — NVIDIA Mozhgan Kabiri Chimeh

Running LLMs locally: Practical LLM Performance on DGX Spark — Mozhgan Kabiri chimeh, NVIDIA

LLM 워크로드를 클라우드에서 로컬 인프라로 이동하려면 엔지니어링 전략의 전환이 필요합니다. 이 세션에서는 로컬 하드웨어에서 대규모 언어 모델을 효율적으로 실행하는 방법을 탐색한 경험을 공유합니다. 실무 성능 최적화 기법, 비용 고려사항, 클라우드 기반 솔루션에서 온프레미스 인프라로 전환할 때 직면하는 실제 과제들을 다룹니다.

키워드

local LLM deploymentperformance optimizationinfrastructureengineering strategyon-premises