往下拉回到首頁
在本地運行大型語言模型:DGX Spark 上的實務 LLM 效能——NVIDIA 的 Mozhgan Kabiri Chimeh

在本地運行大型語言模型:DGX Spark 上的實務 LLM 效能——NVIDIA 的 Mozhgan Kabiri Chimeh

Running LLMs locally: Practical LLM Performance on DGX Spark — Mozhgan Kabiri chimeh, NVIDIA

將大型語言模型(LLM)工作負載從雲端遷移到本地基礎設施需要改變工程策略。在這場演講中,我分享了我探索如何在本地硬體上高效運行大型語言模型的經驗,涵蓋實務效能最佳化技術、成本考量,以及從雲端解決方案轉換到內部部署基礎設施時遇到的真實挑戰。

關鍵字

local LLM deploymentperformance optimizationinfrastructureengineering strategyon-premises