아래로 당겨서 돌아가기
AI 작업을 가장 적합한 모델로 자동 분배하는 라우터를 만들었다——9,200개 작업에 $0.14, $21 절약

AI 작업을 가장 적합한 모델로 자동 분배하는 라우터를 만들었다——9,200개 작업에 $0.14, $21 절약

I built a router that automatically sends your AI tasks to the most appropriate model to handle them at low cost - 9,200 tasks in, $21 saved at $0.14 actual cost

깨달은 점: 사람들이 매일 AI로 하는 일의 대부분——요약, 초안 작성, 분류, 데이터 추출 등——은 사실 최고급 모델이 필요 없다. 8~70B 정도의 평범한 모델로도 충분히 잘 처리한다. 근데 다들 습관적으로 Claude나 ChatGPT에 다 던진다. 그래서 Followloop(followloop.app)을 만들었다. 작업의 복잡도를 자동으로 판단해서 최적의 모델로 분배한다: - 간단한 작업 → Cerebras Llama(초당 2000 토큰, 하루 100만 토큰 무료), Groq, Gemini Flash