2b일까 아닐까? 맞춤형 LLM 스케줄링 경쟁

여러분 안녕하세요. 저는 리소스 관리와 LLM 응답의 토큰 비용 절감에 중점을 두고 Kaggle 경쟁을 시작했습니다. 핵심 과제는 간단하지만 흥미롭습니다. MMLU 벤치마크의 질문이 주어졌을 때, 답변하는 대신 소형 2B 모델을 사용할지 아니면 더 큰 모델을 사용할지 결정하는 것입니다. 목표는 정확도와 비용 효율성 사이의 최적 지점을 찾는 것입니다. 시간이 지남에 따라 더 많은 모델을 추가하여 의사결정을 더욱 정교하게 만들 계획입니다. AI 추론 비용 최적화나 다양한 모델 크기가 실제 벤치마크에서 어떻게 수행되는지 탐색하는 데 관심이 있다면 이 경쟁에 참여할 가치가 있습니다: https://www.kaggle.com/competitions/llm-scheduling-competition