아래로 당겨서 돌아가기
18개의 LLM을 OCR로 벤치마크했습니다(7,000회 이상 호출) — 저렴하고 오래된 모델이 자주 이깁니다. 전체 데이터셋 + 프레임워크 오픈소스 공개.

18개의 LLM을 OCR로 벤치마크했습니다(7,000회 이상 호출) — 저렴하고 오래된 모델이 자주 이깁니다. 전체 데이터셋 + 프레임워크 오픈소스 공개.

We benchmarked 18 LLMs on OCR (7k+ calls) — cheaper/old models oftentimes win. Full dataset + framework open-sourced.

요약: OCR에 너무 많은 비용을 쓰고 있었기 때문에 최신 플래그십 모델과 저렴하고 오래된 모델을 비교했습니다. 새로운 벤치마크 + 리더보드 공개. 자신의 문서를 테스트할 수 있는 무료 도구. 오픈소스. OCR 및 문서 추출 워크플로우를 살펴보면서 같은 패턴을 계속 발견했습니다: 많은 팀들이 레거시 OCR 파이프라인에 갇혀 있거나, 최신/가장 큰 모델을 기본값으로 선택하여 LLM 호출에 과도한 비용을 지출하고 있습니다. 42개의 표준 문서 세트를 준비하고 각 모델을 10번씩 실행했습니다