往下拉回到首頁
我的大型語言模型解碼器在訓練 50 億個 Token 時如何演變

我的大型語言模型解碼器在訓練 50 億個 Token 時如何演變

Here's how my LLM's decoder block changed while training on 5B tokens

我正在監控一個實驗性模型的持續訓練過程。我用我的 K-Splanifolds 論文中描述的離散低維樣條流形幾何取代了傳統 Transformer 的多層感知機(MLP)解碼器。這張圖展示了在訓練 50 億個 Token 的過程中,第 96 層(共 128 層)是如何發展的。這個 1,800 萬參數的模型表現出乎意料地好,損失函數持續下降,所以我會繼續訓練它,直到看到停滯的跡象。我覺得你們可能會對它的發展過程感興趣。

關鍵字

LLM trainingdecoder blockspline geometryK-Splanifoldstransformerloss reductionmodel monitoring