Gemma 4 26B-A4B GGUF 벤치마크: 최고의 양자화 버전은?

다양한 제공업체의 Gemma 4 26B-A4B GGUF에 대해 KL 발산(KL Divergence) 벤치마크를 실시하여 당신의 설정에 가장 적합한 양자화 버전을 찾을 수 있도록 도왔습니다. 결과는 Unsloth GGUF가 파레토 최적선(Pareto frontier)을 지배하고 있음을 보여주며, 이는 메모리 사용량을 줄이면서 원본 모델의 정확도를 가장 잘 유지한다는 의미입니다. Unsloth는 22개 모델 크기 중 21개에서 우승했으며, 다른 지표에서도 유사한 이점을 보입니다. 또한 Q6_K 양자화를 더욱 동적으로 개선했습니다. 로컬 LLM을 실행 중이라면, 이 데이터는 품질과 속도 사이의 최적 균형을 선택하는 데 도움이 될 것입니다.