我們開源了 Chaperone-Thinking-LQ-1.0 — 一個 4-bit GPTQ + QLoRA 微調的 DeepSeek-R1-32B，在 MedQA 上達到 84% 準確率，只需 ~20GB

各位好，我們剛在 Hugging Face 上開源了我們的推理模型 Chaperone-Thinking-LQ-1.0。它基於 DeepSeek-R1-Distill-Qwen-32B，但遠超過簡單的量化。以下是我們實際做的事：我們使用 4-bit GPTQ 量化將模型從約 60GB 壓縮到約 20GB，透過 GPTQ 進行量化感知訓練（QAT）並校準以最小化準確率損失，在醫學和科學語料庫上進行 QLoRA 微調，並移除自適應恆等層以確保透明度。結果是一個醫學推理 AI，在 MedQA 上達到 84% 的準確率，同時可以在消費級硬體上運行。