아래로 당겨서 돌아가기
처음 파인튜닝하는데 조언 좀 — 3B 아니면 7B로 다중 작업 추론? [D]

처음 파인튜닝하는데 조언 좀 — 3B 아니면 7B로 다중 작업 추론? [D]

First time fine-tuning, need a sanity check — 3B or 7B for multi-task reasoning? [D]

안녕하세요, 여기 처음 글 올립니다. 한동안 잠수만 타다가 이제 첫 파인튜닝 프로젝트를 시작하려고 하는데 잘못된 방향으로 가고 싶지 않아서 물어봅니다. 제 배경: ML 전공이 아니고 독학했습니다. 지난 1년간 API를 통해 대형언어모델(LLM)을 사용해왔어요. 하지만 프롬프트 엔지니어링만으로는 더 이상 부족해서 이제 본격적으로 파인튜닝을 해야 할 것 같습니다. 제가 하려는 작업은 이렇습니다. 모델이 3가지 관련된 것들을 배우게 하고 싶어요: 첫째