往下拉回到首頁
Hugging Face 說我的優化器「太新」不要,我乾脆自己做成一行代碼,LoRA 微調直接用

Hugging Face 說我的優化器「太新」不要,我乾脆自己做成一行代碼,LoRA 微調直接用

Hugging Face rejected my 2nd-order optimizer PR for being "too new", so I made it a 1-line standalone drop-in for local LoRA fine-tuning

欸你知道嗎,我最近搞出一個叫 SCAO 的優化器,就是用來加快微調 AI 模型的速度。簡單來說,用 AdamW 微調大型 AI 模型時,一開始學習特別慢,我的方法可以解決這個問題。我本來想把它加進 Hugging Face 的官方工具裡,結果被拒絕了,理由是「你這個太新了,數學太複雜,我們要看到更多人用才敢加進去」。說真的,他們講得也有道理啦。所以我就把它做成一個獨立的小工具,現在你可以直接複製一行代碼到你的微調程式裡,根本不用等他們。這也太猛了吧,自己的工具自己用。