Qwen 3.6 35B 模型出現嚴重問題：40% 的神經元已「死亡」

一位開發者在對 Qwen 3.6 35B 模型進行神經元級別除錯時，發現了令人擔憂的現象：MoE（專家混合）層中大量神經元完全「死亡」，輸出值為零。在模型的閘門權重和上投影權重中，他們發現 40% 的神經元根本沒有啟動。有趣的是，較小的 Qwen 3.5 9B 模型沒有這個問題——所有神經元都在正常運作。造成這個問題的原因仍然是謎，這引發了人們對訓練過程、量化問題或其他因素的疑問。這可能會以我們還不完全理解的方式影響模型的品質和效率。