下に引いて戻る
18個のLLMをOCRでベンチマーク(7000回以上の呼び出し)——安いモデルや古いモデルが勝つことが多い。フルデータセット+フレームワークをオープンソース化。

18個のLLMをOCRでベンチマーク(7000回以上の呼び出し)——安いモデルや古いモデルが勝つことが多い。フルデータセット+フレームワークをオープンソース化。

We benchmarked 18 LLMs on OCR (7k+ calls) — cheaper/old models oftentimes win. Full dataset + framework open-sourced.

要するに:OCRに使いすぎていたので、最新フラッグシップモデルと安いモデル・古いモデルを比較しました。新しいベンチマーク+ランキング公開。自分のドキュメントをテストできる無料ツール。オープンソース。 OCRとドキュメント抽出のワークフローを調べていて、同じパターンに気づきました: 多くのチームは古いOCRパイプラインに縛られているか、最新・最大のモデルをデフォルトで選んでLLM呼び出しに無駄金を使っています。 42個の標準ドキュメントをまとめて、各モデルを10回ずつ実行しました