Qwen 3.6 35B 모델에 심각한 문제 발견: 신경원의 40%가 '죽어있음'

한 개발자가 Qwen 3.6 35B 모델을 신경원 수준에서 디버깅하던 중 충격적인 발견을 했습니다. MoE(혼합 전문가) 계층의 수많은 신경원이 완전히 '죽어있고' 0 값을 출력하고 있다는 것입니다. 모델의 게이트 가중치와 업 프로젝션 가중치에서 40%의 신경원이 전혀 활성화되지 않고 있습니다. 흥미롭게도 더 작은 Qwen 3.5 9B 모델에는 이 문제가 없습니다. 모든 신경원이 정상적으로 작동합니다. 이 문제의 원인은 여전히 미스터리이며, 훈련 과정, 양자화 문제 또는 다른 요인에 대한 의문을 제기합니다. 이는 우리가 아직 완전히 이해하지 못하는 방식으로 모델의 품질과 효율성에 영향을 미칠 수 있습니다.