
OpenAI ライブストリーム
OpenAIがライブストリーム配信イベントを開催します。放送中に具体的な発表、新製品発表、またはデモンストレーションが明かされる予定です。
OpenAIが前回予告なしのライブストリームをやった時、GPT-4 Turboをドロップして、一晩で価格設定を完全に変えました

現在のAIモデルベンチマーク手法には大きな問題がある。最先端の研究機関は毎回新しいモデルを構築し、テストハーネスを設定して、膨大なベンチマークスイートを実行するが、得られるのはわずかな改善だけだ。これは莫大なリソースの無駄だ。つまり、わずかな信頼度向上のために炭素排出を増やしているようなもの。Geminiなどの最近のベンチマークを見ると、この非効率さは明らかだ。この記事は、モデルを何度も再訓練・再テストする悪循環に陥らずにAIモデルをテストするための、より良いフレームワークが必要だと主張している。