下に引いて戻る
無料のColab T4とMacでAppleの3Bモデル用LoRAアダプターを訓練する

無料のColab T4とMacでAppleの3Bモデル用LoRAアダプターを訓練する

Training LoRA adapters for Apple's on-device 3B model on a free Colab T4 and a Mac

以前、Appleの3Bモデルを使ってシェルアシスタントを構築し、精度をベンチマークした内容を投稿しました。ベースモデルと動的検索を使用しました。次のステップとして、このモデル用のLoRAアダプターの訓練を試してみたいと考えています。精度の向上を期待する部分もありますが、むしろAppleの訓練ツールキットがどのようなものか、そして一般的なハードウェアで実行できるかどうかを理解することが主な目的です。興味のある方のために共有したいと思います。Appleはこのツールキット用のPythonトレーニングツールキットを提供しています