往下拉回到首頁
AI 模型訓練到一半,內部結構竟然長這樣——有人用新方法改造 Transformer

AI 模型訓練到一半,內部結構竟然長這樣——有人用新方法改造 Transformer

Here's how my LLM's decoder block changed while training on 5B tokens

欸你知道嗎,有個研究者在訓練一個自己設計的 AI 模型,但他沒有用傳統的方法,反而用了一種叫「K-Splanifolds」的新幾何方法來改造 Transformer 的解碼器。簡單來說就是把原本複雜的計算方式換成更簡潔的流形結構,結果這個只有 1,800 萬參數的小模型(相比 GPT-3 的 1,750 億參數真的超小)竟然表現得出乎意料地好,損失值還一直在下降。他放出了訓練過程中第 96 層的演變圖,看起來就像是 AI 的「大腦」在慢慢學習和調整自己。這種新方法如果真的有效,說不定以後我們可以用更小、更省電的模型做出一樣強大的 AI——這對手機 AI 或邊緣運算來說根本是救星。有興趣的話可以看看他放出的原始碼。

相關標籤

LLM trainingdecoder blockspline geometryK-Splanifoldstransformerloss reductionmodel monitoring