下に引いて戻る
24個のデータセットでharrier-27b vs voyage-4 vs zembed-1を徹底比較。27Bパラメータ

24個のデータセットでharrier-27b vs voyage-4 vs zembed-1を徹底比較。27Bパラメータ

I compared harrier-27b vs voyage-4 vs zembed-1 across 24 datasets. 27B parameters

ずっと埋め込みモデルの評価をやってきたんですが、マイクロソフトのHarrierファミリーが新モデルをリリースしました。ちなみにharrier-27bはバイナリMTEBで発表時に1位を獲得。これは無視できない成果です。そこで、普段使っている同じ評価パイプラインに通してみました——**24個のデータセット、3つの独立したLLM判定者**、**0~10の連続関連性スコア**。単純な合格/不合格ではなく、より詳細な評価です。 **グローバルスコア** |モデル|NDCG@10|Recall@100| |:-|:-|:-| |zembed-1|0.701|0.750| |voyage-4|0.699|0.731| |harrier-27b|0.699|0.720|

キーワード

embedding modelsevaluationbenchmarkNDCGrecallLLM judgesmodel comparison