
OpenAI ライブストリーム
OpenAIがライブストリーム配信イベントを開催します。放送中に具体的な発表、新製品発表、またはデモンストレーションが明かされる予定です。
OpenAIが前回予告なしのライブストリームをやった時、GPT-4 Turboをドロップして、一晩で価格設定を完全に変えました

Macrocosmos が ResBM(残差ボトルネックモデル)に関する論文を発表しました。これは AI 訓練における実際の課題を解決する巧妙な新型 Transformer 設計です。巨大なモデルを複数の GPU に分散させると、それらが常に相互通信する必要があり、膨大な帯域幅を浪費して速度が低下します。ResBM はパイプラインステージ間のデータを 128 倍圧縮する残差エンコーダ・デコーダボトルネックを使用します。つまり、情報を元のサイズの 1/128 に圧縮しながら、モデルの学習能力を維持するということです。驚くべきことに、実際に機能し、性能を損なわないのです。これにより、大規模 AI モデルの訓練がはるかに安価で高速になる可能性があり、無制限の計算リソースを持たない研究機関にとって極めて重要です。