往下拉回到首頁
我要自己訓練 AI 了,但選 3B 還是 7B 的模型才不會浪費錢?

我要自己訓練 AI 了,但選 3B 還是 7B 的模型才不會浪費錢?

First time fine-tuning, need a sanity check — 3B or 7B for multi-task reasoning? [D]

欸你知道嗎,有些人用 ChatGPT 用到後來發現「欸不對,我需要的東西 prompt 調再多次都沒用」,這時候就得自己動手訓練模型了。 這位仁兄就是這樣的情況。他之前都是用 API 呼叫別人的 AI,但現在要做的事情太客製化(custom)了,所以決定自己來客製化訓練(fine-tuning)。 問題是:他是第一次做這種事,不知道該選小一點的模型(3B,3 十億參數)還是大一點的(7B,7 十億參數)。因為選錯了不只浪費時間,還可能浪費一堆錢在運算成本上。 他想教 AI 同時學三個相關的任務,但不確定哪個模型大小最划算。說真的,這是很多人第一次自己訓練 AI 時都會卡住的地方——不知道從何下手。