我用 RTX 5090 在同一個真實架構設計任務上測試了 Qwen3.6-27B、Qwen3.6-35B-A3B、Qwen3.5-27B 和 Gemma 4

我進行了一個簡單但很有啟發性的本地大型語言模型（LLM）測試。原本我只打算測試兩個 Qwen 模型和 Gemma4 就睡覺，結果在 Reddit 上看到 Qwen3.6-27B 剛剛發布，所以就一起測了。測試的模型包括：Gemma4、Qwen3.6-35B（RedHatAI 的 NVFP4 量化版本）、Qwen3.5-27B（QuantTrio 的 AWQ 量化版本）和 Qwen3.6-27B（cyankiwi 的 AWQ-INT4 量化版本）。我在做一個相當複雜的工具，它需要處理雜亂的證據並生成架構設計決策。這個測試很好地檢驗了各個模型在推理和遵循指令方面的能力，結果顯示模型大小、量化方法和實際效能之間有有趣的權衡。