Hello everyone. During data debugging session on per tensor and per neuron level I found that neurons in tensor layers in MoE model can die (have zero value). Here the log. For example In blk.0.ffn_gate_exps.weight and blk.0.ffn_up_exps.weight in Qwen3.6 35B A3B Q8_0 quant: I found 40% of zero neurons. In Qwen3.5 9B I didn't found any zero blocks. All blocks in it contain value. Don't know why this is happened. I never trained LLM's by myself, but this problem exists. A company I'm intervie
OpenAIがライブストリーム配信イベントを開催します。放送中に具体的な発表、新製品発表、またはデモンストレーションが明かされる予定です。
OpenAIが前回予告なしのライブストリームをやった時、GPT-4 Turboをドロップして、一晩で価格設定を完全に変えました
OpenAIが新しいChatGPT Images 2.0をリリースしました。画像生成の品質と機能が大きく向上しています。ライブストリーム配信で最新機能のデモンストレーションが行われています。https://openai.com/live/ でご覧ください。
OpenAIはこれを確立されたイメージ生成ツールの直接的なライバルとして位置付けてるから、現在の市場リーダーに挑戦する自信があるってこと
2025年を通じて、LLMに対する不満に対する標準的な返答は「あと3～6ヶ月待てば、次世代モデルが簡単に解決する」というバージョンばかりだった。この議論はどこにでもあった。すべての制限は一時的だと言われ、すべての欠落機能は数回のアップデート先にあると言われ、自律エージェントのデモはすべて差し迫った現実の予告編として扱われていた。 いまは2026年4月。その約束がどれだけ実現したか確認する価値がある。Redditの r/ClaudeAI では今週、Opus 4.7についての長いスレッドが立ち、複数のユーザーが「これは退化だ」と主張している。
AMD の新型 Strix Halo チップで Mistral Medium 3.5 を実際に試した人がいるんですが、結果は…ひどいものです。48k トークンのプロンプト＋4k 思考トークンで、コード設計についての質問に答えるだけで約 2 時間かかりました。本当です、2 時間ですよ。Strix Halo でローカル実行したいなら、寝る前にジョブを投げるしかありません。Q5_K_XL 量化や GPU アクセラレーション、キャッシュ再利用など、あらゆる最適化を施しても、相変わらず遅い。「ローカル AI の夢」はまだ先のようですが、少なくとも動作はします。