아래로 당겨서 돌아가기
24개 데이터셋으로 비교한 harrier-27b vs voyage-4 vs zembed-1. 27B 파라미터

24개 데이터셋으로 비교한 harrier-27b vs voyage-4 vs zembed-1. 27B 파라미터

I compared harrier-27b vs voyage-4 vs zembed-1 across 24 datasets. 27B parameters

계속 임베딩 모델 평가를 해오고 있었는데, 마이크로소프트의 Harrier 패밀리가 새 모델을 출시했어요. 참고로 harrier-27b는 출시 당시 바이너리 MTEB에서 1위를 기록했습니다. 이건 무시할 수 없는 성과죠. 그래서 제가 평소에 사용하는 동일한 평가 파이프라인에 넣어봤습니다——**24개 데이터셋, 3개의 독립적인 LLM 판정자**, **0~10의 연속 관련성 점수**. 단순한 합격/불합격이 아닙니다. **전체 점수** |모델|NDCG@10|Recall@100| |:-|:-|:-| |zembed-1|0.701|0.750| |voyage-4|0.699|0.731| |harrier-27b|0.699|0.720|

키워드

embedding modelsevaluationbenchmarkNDCGrecallLLM judgesmodel comparison