往下拉回到首頁
想自己養 AI 模型?把 ChatGPT 等級的 LLM 裝在公司電腦上,NVIDIA 工程師教你怎麼做

想自己養 AI 模型?把 ChatGPT 等級的 LLM 裝在公司電腦上,NVIDIA 工程師教你怎麼做

Running LLMs locally: Practical LLM Performance on DGX Spark — Mozhgan Kabiri chimeh, NVIDIA

欸你知道嗎,現在很多公司都在想一個問題:與其每個月花大錢用 ChatGPT 或 Claude,不如自己買台高級伺服器把大型 AI 模型(LLM)裝在公司裡面。但這樣做真的划算嗎?會不會超級複雜? NVIDIA 的工程師 Mozhgan Kabiri Chimeh 就在這場演講裡分享她的實戰經驗。簡單來說就是:從雲端搬到自己的電腦上,不是只有「下載軟體」那麼簡單,還要考慮硬體效能、成本、維護等一堆問題。她會告訴你怎樣才能讓本地的 AI 模型跑得又快又穩,以及什麼時候自己養 AI 才真的比較便宜。說真的,如果你公司正在考慮這件事,或者對 AI 成本有點擔心,這場演講值得聽。

相關標籤

local LLM deploymentperformance optimizationinfrastructureengineering strategyon-premises