往下拉回到首頁
用小 AI 還是大 AI?Kaggle 新競賽教你聰明省錢

用小 AI 還是大 AI?Kaggle 新競賽教你聰明省錢

2b or not 2b? Custom LLM Scheduling Competition

欸你知道嗎,現在用 AI 回答問題最大的成本就是 token 費用,簡單來說就像是按字數計費。有人就想到一個超聰明的點子——與其每次都用大模型,不如根據問題難度來決定用小模型(2B)還是大模型。他在 Kaggle 上開了個競賽,給你 MMLU 基準測試的題目,你的工作就是判斷:這題用小 AI 就夠了,還是一定要用大 AI?目標是在準確度和成本之間找到完美平衡。說真的有點扯,這種聰明的資源分配方式,未來可能會大幅降低公司的 AI 成本。如果你對怎麼讓 AI 更省錢有興趣,或想看看小模型其實沒你想的那麼弱,這個競賽絕對值得玩玩:https://www.kaggle.com/competitions/llm-scheduling-competition