下に引いて戻る
Chaperone-Thinking-LQ-1.0をオープンソース化 — 4-bit GPTQ + QLoRA微調のDeepSeek-R1-32BがMedQAで84%達成、わずか~20GB

Chaperone-Thinking-LQ-1.0をオープンソース化 — 4-bit GPTQ + QLoRA微調のDeepSeek-R1-32BがMedQAで84%達成、わずか~20GB

We open-sourced Chaperone-Thinking-LQ-1.0 — a 4-bit GPTQ + QLoRA fine-tuned DeepSeek-R1-32B that hits 84% on MedQA in ~20GB

皆さんへ、Hugging Faceで推論モデル「Chaperone-Thinking-LQ-1.0」をオープンソース化しました。DeepSeek-R1-Distill-Qwen-32Bをベースにしていますが、単なる量化を超えています。実際に行ったことは以下の通りです:4-bit GPTQ量化でモデルを約60GBから約20GBに圧縮し、GPTQ経由の量化認識訓練(QAT)とキャリブレーションで精度低下を最小化し、医学・科学コーパスでQLoRA微調整を実施し、透明性のため適応的アイデンティティレイヤーを削除しました。結果として、MedQAで84%の精度を達成し、消費者向けハードウェアで動作する医学推論AIが実現しました。