往下拉回到首頁
微軟新 AI 模型 Harrier-27B 真的那麼強嗎?我用 24 個測試一次比出來

微軟新 AI 模型 Harrier-27B 真的那麼強嗎?我用 24 個測試一次比出來

I compared harrier-27b vs voyage-4 vs zembed-1 across 24 datasets. 27B parameters

欸你知道嗎,微軟最近推出一個叫 Harrier-27B 的新 AI 模型,一上線就在排行榜拿第一名。聽起來超猛對吧?但我決定自己實測一下,用我平常的方法——拿 24 個不同的資料集、找 3 個 AI 來評分,給每個結果打 0 到 10 分,這樣才能看出真實差別。 結果呢?說真的有點意外。Harrier-27B 的成績其實跟 Voyage-4 和 Zembed-1 差不多,甚至在某些指標上還略遜一籌。這就像是某個新手機廠商說自己的新機最快,但實測下來其實跟蘋果三星差不多一樣。所以啊,不要只看排行榜,自己測過才算數。 **實測數據** |模型|NDCG@10|Recall@100| |:-|:-|:-| |Zembed-1|0.701|0.750| |Voyage-4|0.699|0.731| |Harrier-27B|0.699|0.720|

相關標籤

embedding modelsevaluationbenchmarkNDCGrecallLLM judgesmodel comparison