下に引いて戻る
50億トークンの訓練中に私のLLMのデコーダーブロックがどう変わったか

50億トークンの訓練中に私のLLMのデコーダーブロックがどう変わったか

Here's how my LLM's decoder block changed while training on 5B tokens

実験的なモデルの訓練過程を監視しています。従来のTransformerのMLPデコーダーを、私のK-Splanifolds論文で説明した離散低次元スプライン多様体幾何に置き換えました。この画像は、50億トークンの訓練中に128層中の96層がどのように発展したかを示しています。1,800万パラメータのモデルは予想外によく機能し、損失が減少し続けているため、停滞の兆候が見られるまで訓練を続けます。その発展過程を興味深いと思っていただけるかもしれません。

キーワード

LLM trainingdecoder blockspline geometryK-Splanifoldstransformerloss reductionmodel monitoring