아래로 당겨서 돌아가기
16GB VRAM 사용자들, 지금 가장 좋은 모델이 뭐예요?

16GB VRAM 사용자들, 지금 가장 좋은 모델이 뭐예요?

16 GB VRAM users, what model do we like best now?

요즘 Qwen 3.5 27b를 IQ3 양자화(quant)로 써보니까 꽤 괜찮더라고요. RTX 4080에서 ik_llama.cpp(CUDA 컴파일)로 돌리면 보통 32k 컨텍스트를 무리 없이 집어넣을 수 있고, 40+ token/초 정도 속도가 나옵니다. 저는 로컬 모델을 코딩 같은 데 안 쓰니까 이 정도면 충분해요. 그런데 Gemma 26b MoE를 TurboQuant로 KV 캐시 압축하고 IQ4 양자화로 갈 수 있을까 싶거든요... 16GB VRAM은 정말 아슬아슬한데, IQ4와 Q4의 품질 차이가 꽤 눈에 띄거든요.

키워드

VRAMquantizationIQ3IQ4local modelsinferencethroughputcontext window