下に引いて戻る
LLMをローカルで実行する:DGX Sparkでの実践的なLLMパフォーマンス — NVIDIA Mozhgan Kabiri Chimeh

LLMをローカルで実行する:DGX Sparkでの実践的なLLMパフォーマンス — NVIDIA Mozhgan Kabiri Chimeh

Running LLMs locally: Practical LLM Performance on DGX Spark — Mozhgan Kabiri chimeh, NVIDIA

LLMのワークロードをクラウドからローカルインフラストラクチャに移行するには、エンジニアリング戦略の転換が必要です。このセッションでは、ローカルハードウェア上で大規模言語モデルを効率的に実行する方法を探索した経験を共有します。実践的なパフォーマンス最適化技術、コスト考慮事項、クラウドベースのソリューションからオンプレミスインフラストラクチャへの移行時の実際の課題について説明します。

キーワード

local LLM deploymentperformance optimizationinfrastructureengineering strategyon-premises