下に引いて戻る
Qwen 3.6 35Bモデルに深刻な問題:ニューロンの40%が「死亡」している

Qwen 3.6 35Bモデルに深刻な問題:ニューロンの40%が「死亡」している

Qwen 3.6 35B Model Has a Serious Problem: 40% of Its Brain Cells Are Dead

あるデベロッパーがQwen 3.6 35Bモデルをニューロンレベルでデバッグしている最中に、衝撃的な発見をしました。MoE(混合専門家)層の大量のニューロンが完全に「死亡」し、ゼロ値を出力しているのです。モデルのゲート重みと上投影重みでは、40%のニューロンが全く活動していません。興味深いことに、より小さいQwen 3.5 9Bモデルにはこの問題がありません。すべてのニューロンが正常に動作しています。この問題の原因はまだ謎のままで、訓練プロセス、量子化の問題、または他の要因についての疑問を生じさせています。これはまだ完全には理解されていない方法でモデルの品質と効率に影響を与える可能性があります。