Chaperone-Thinking-LQ-1.0 오픈소스 공개 — 4-bit GPTQ + QLoRA 미세조정 DeepSeek-R1-32B, MedQA에서 84% 달성, ~20GB만 필요

안녕하세요, Hugging Face에서 추론 모델 Chaperone-Thinking-LQ-1.0을 오픈소스로 공개했습니다. DeepSeek-R1-Distill-Qwen-32B를 기반으로 하지만 단순한 양자화를 훨씬 넘어섭니다. 실제로 한 작업은 다음과 같습니다: 4-bit GPTQ 양자화로 모델을 약 60GB에서 약 20GB로 압축하고, GPTQ를 통한 양자화 인식 훈련(QAT)과 캘리브레이션으로 정확도 손실을 최소화하며, 의료 및 과학 코퍼스에서 QLoRA 미세조정을 수행하고, 투명성을 위해 적응형 항등층을 제거했습니다. 결과적으로 MedQA에서 84% 정확도를 달성하면서 소비자 수준의 하드웨어에서 실행되는 의료 추론 AI가 탄생했습니다.