往下拉回到首頁
AI 模型訓練有個超大浪費:用四元數可以省 75% 的參數

AI 模型訓練有個超大浪費:用四元數可以省 75% 的參數

Paths to Overcome Limitations Matrix Multiplication Bottleneck in Training [D]

欸你知道嗎,我們現在訓練 AI 的方式可能根本搞反了。簡單來說就是,Transformer 這種 AI 模型用的數學工具可能選錯了。有個叫「四元數」的東西(就是用來算 3D 旋轉的),如果拿來取代現在的計算方式,同樣的效果可以用只需要四分之一的參數達成。這也太猛了吧——想像一下,你現在訓練一個模型要花 4 小時,換個方法可能只要 1 小時,而且效果一樣好。更扯的是,這背後有個幾何學的原因:那些有名的微調技巧(像 LoRA)之所以有效,根本上就是因為它們在做旋轉的事。所以我們一直在用複雜的方式做本質上很簡單的操作。說真的有點浪費。