Gemma-4 微調與部署踩坑實錄：我們遇到的那些鬼東西

嗨各位， 我們的機器學習團隊這週花了不少時間讓 Gemma-4 的訓練和部署能夠正常運作，想把一路上踩到的坑都記錄下來。 PEFT 無法辨識 Gemma 4 的自訂層級。Google 把視覺/音訊投影層包裝在一個新的 ClippableLinear 類別裡，但它不繼承自 nn.Linear，所以 PEFT 拒絕附加 LoRA，即使只是做文字微調也不行。解決方案：在載入權重之後、呼叫 PEFT 之前，先把這些包裝層拆掉。 SFTTrainer 會無聲地中止訓練。