
OpenAI ライブストリーム
OpenAIがライブストリーム配信イベントを開催します。放送中に具体的な発表、新製品発表、またはデモンストレーションが明かされる予定です。
OpenAIが前回予告なしのライブストリームをやった時、GPT-4 Turboをドロップして、一晩で価格設定を完全に変えました

誰かが究極のマシンを組み立てました:32個のAMD MI50 GPUでKimi K2.6(オープンソースの大規模言語モデル)を実行し、出力速度は毎秒9.7トークン、入力速度は毎秒264トークンを達成しました。このシステムはAMD GPU向けに最適化されたカスタムvLLMフォークを使用し、アイドル時の消費電力は約640W、ピーク推論時は4.8kW——基本的に小型発電所です。正直なところ?超クールですが、太陽光発電やデータセンターの廃熱など無料電力がない限り、経済的には割に合いません。セットアップは2つの16GPU ノードを10G イーサネットケーブルで接続したもので、電気代を気にしなければ、DIYで超大規模推論クラスタを構築できることを証明しています。