Hugging Face 拒絕了我的二階優化器 PR，說「太新」，所以我把它做成一行代碼的獨立工具，直接用在本地 LoRA 微調

我最近開發了 SCAO（稀疏曲率感知優化器），一個二階優化器，專門用來解決用 AdamW 微調大型語言模型（LLM）時早期收斂速度慢的問題。我試著把它整合進 Transformers 函式庫，但維護者拒絕了我的 PR。他們的反饋很合理：「這個太新了，數學太複雜，我們需要看到社群真正採用它才會考慮加進核心函式庫。」我完全同意。所以我乾脆把它做成獨立工具，現在可以直接當成一行代碼插進你的本地 LoRA 微調流程裡，超方便。