下に引いて戻る
MacBook Air M5で21個のローカルLLMをコード品質と速度でベンチマーク測定した結果

MacBook Air M5で21個のローカルLLMをコード品質と速度でベンチマーク測定した結果

I benchmarked 21 local LLMs on a MacBook Air M5 for code quality AND speed

「このモデルがコーディングに最適」という根拠のない主張がネット上に溢れている。そこで実データで決着をつけることにした。どのモデルが正しいコードを書き、実際のハードウェアでどのくらい高速に動作するのか、完全に同じ条件で測定して直接比較できるようにした。恣意的なプロンプト選択なし、主観的な印象なし。164個のコーディング問題で pass@1 スコアを測定する拡張テストスイートを使用。 ハードウェア:MacBook Air M5、32GB ユニファイドメモリ 量子化:llama.cpp経由で全モデル Q4_K_M