
OpenAI ライブストリーム
OpenAIがライブストリーム配信イベントを開催します。放送中に具体的な発表、新製品発表、またはデモンストレーションが明かされる予定です。
OpenAIが前回予告なしのライブストリームをやった時、GPT-4 Turboをドロップして、一晩で価格設定を完全に変えました

かなりの時間をかけて、ついに Minimax 2.7 Q4 のような大規模言語モデルを CUDA と ROCm で同時に実行できるようになりました。Vulkan を完全に回避できます。セットアップでは 63 層すべてを GPU にオフロードし、CUDA が 83.6GB、ROCm が 40.3GB、CPU が残りを処理します。最大の利点は prefill のパフォーマンスが劇的に向上することです。Windows では build ディレクトリをクリアして、CMake と Ninja ジェネレータを使用し、AMD ROC インストールを指定します。