아래로 당겨서 돌아가기
무료 Colab T4와 Mac에서 Apple의 3B 모델용 LoRA 어댑터 훈련하기

무료 Colab T4와 Mac에서 Apple의 3B 모델용 LoRA 어댑터 훈련하기

Training LoRA adapters for Apple's on-device 3B model on a free Colab T4 and a Mac

최근에 Apple의 3B 모델을 사용해 셸 어시스턴트를 만들고 정확도를 벤치마킹한 내용을 공유했습니다. 기본 모델과 동적 검색을 사용했습니다. 다음 단계로 이 모델을 위한 LoRA 어댑터를 훈련해보고 싶었는데, 정확도 개선 여부를 확인하는 것도 있지만 무엇보다 Apple의 훈련 툴킷이 어떤 모습인지, 그리고 일반적인 하드웨어에서 실행할 수 있는지 알아보는 것이 주된 목적입니다. 관심 있는 분들과 공유하고 싶어서 올립니다. Apple은 이를 위한 Python 훈련 툴킷을 제공합니다