往下拉回到首頁
在免費 Colab T4 和 Mac 上為 Apple 的 3B 模型訓練 LoRA 適配器

在免費 Colab T4 和 Mac 上為 Apple 的 3B 模型訓練 LoRA 適配器

Training LoRA adapters for Apple's on-device 3B model on a free Colab T4 and a Mac

我之前分享過用 Apple 的 3B 模型來打造一個殼層助手,並測試準確度的經驗。我使用了原始模型和動態檢索功能。接下來,我想探索為這個模型訓練 LoRA 適配器(LoRA adapter),一方面是想看看能否提升準確度,但更重要的是想了解 Apple 的訓練工具組(training toolkit)長什麼樣子,以及是否能在一般人能取得的硬體上執行。想在這裡分享給有興趣的人。Apple 提供了一個 Python 訓練工具組