
OpenAI ライブストリーム
OpenAIがライブストリーム配信イベントを開催します。放送中に具体的な発表、新製品発表、またはデモンストレーションが明かされる予定です。
OpenAIが前回予告なしのライブストリームをやった時、GPT-4 Turboをドロップして、一晩で価格設定を完全に変えました

あるデベロッパーがQwen 3.6 35Bモデルをニューロンレベルでデバッグしている最中に、衝撃的な発見をしました。MoE(混合専門家)層の大量のニューロンが完全に「死亡」し、ゼロ値を出力しているのです。モデルのゲート重みと上投影重みでは、40%のニューロンが全く活動していません。興味深いことに、より小さいQwen 3.5 9Bモデルにはこの問題がありません。すべてのニューロンが正常に動作しています。この問題の原因はまだ謎のままで、訓練プロセス、量子化の問題、または他の要因についての疑問を生じさせています。これはまだ完全には理解されていない方法でモデルの品質と効率に影響を与える可能性があります。