
OpenAI ライブストリーム
OpenAIがライブストリーム配信イベントを開催します。放送中に具体的な発表、新製品発表、またはデモンストレーションが明かされる予定です。
OpenAIが前回予告なしのライブストリームをやった時、GPT-4 Turboをドロップして、一晩で価格設定を完全に変えました

Recently, I developed SCAO (Sparse Curvature-Aware Optimizer), a 2nd-order optimizer designed to fix the slow early-stage convergence of AdamW when fine-tuning LLMs. I tried to get it integrated into transformers, but the maintainers understandably rejected the PR. The feedback was essentially: "It’s too new, the math is complex, and we need to see concrete community adoption before adding it to the core library." Fair enough. So I removed the friction and made it a standalone script. If you