MacBook Air M5에서 21개 로컬 LLM의 코드 품질과 속도를 벤치마크했습니다

"이 모델이 코딩에 최고야"라는 근거 없는 주장들이 넘쳐난다. 그래서 실제 데이터로 결판을 내기로 했다. 어떤 모델이 정확한 코드를 작성하고, 실제 하드웨어에서 얼마나 빠르게 실행되는지를 동일한 조건에서 테스트해서 직접 비교할 수 있도록 했다. 의도적으로 선택된 프롬프트 없음, 주관적 인상 없음. 164개의 코딩 문제로 pass@1 점수를 측정하는 확장된 테스트 스위트 사용. 하드웨어: MacBook Air M5, 32GB 통합 메모리 양자화: llama.cpp를 통한 모든 모델 Q4_K_M