往下拉回到首頁
阿里巴巴偷偷放出 Marco-Mini 和 Marco-Nano:超省電的 AI 模型,速度快到不行

阿里巴巴偷偷放出 Marco-Mini 和 Marco-Nano:超省電的 AI 模型,速度快到不行

Alibaba Just Dropped Marco-Mini and Marco-Nano: Sparse AI Models That Run Stupidly Fast

阿里巴巴國際數位商務集團六天前悄悄發布了兩個新的大型語言模型(LLM),但幾乎沒人注意到。Marco-Mini 有 17.3 億個參數,但每次只啟動 0.86 億個;Marco-Nano 更小,8 億參數只啟動 0.6 億個。它們用的是混合專家(MoE)架構,簡單來說就是模型只會「喚醒」處理當前任務需要的部分——就像有一隊專家分工,而不是一個人包辦所有事。參數和啟動參數的比例真的超誇張,代表這些模型跑起來會快到不行,成本也便宜得要命。如果你想要不錯的多語言性能,又不想燒爆伺服器,這兩個根本是救星。

關鍵字

language modelsparse MoEmultilingualinstruction-tunedefficient inferenceparameter efficiency