
OpenAI ライブストリーム
OpenAIがライブストリーム配信イベントを開催します。放送中に具体的な発表、新製品発表、またはデモンストレーションが明かされる予定です。
OpenAIが前回予告なしのライブストリームをやった時、GPT-4 Turboをドロップして、一晩で価格設定を完全に変えました

あるデベロッパーが PyTorch を使って、単一の消費者向け GPU 上で完全にゼロからトランスフォーマー言語モデルを訓練しました。事前学習済みの重みなし、ショートカットなし。その成果が Plasma 1.0 で、2.35 億パラメータ、18 層、隠れサイズ 1024 のモデルです。LLaMA スタイルのアーキテクチャを採用し、グループ化クエリアテンション(GQA)、SwiGLU FFN、RoPE 位置エンコーディング、RMSNorm を搭載しています。すべてのパラメータが生のテキストから直接学習されており、大規模な計算クラスタがなくても実用的な言語モデルを訓練できることを証明しています。