
OpenAI 라이브스트림
OpenAI가 라이브스트림 이벤트를 개최합니다. 방송 중에 구체적인 발표, 신제품 출시 또는 시연이 공개될 예정입니다.
The last time OpenAI did an unannounced livestream, they dropped GPT-4 Turbo and changed pricing overnight
요즘 Qwen 3.5 27b를 IQ3 양자화(quant)로 써보니까 꽤 괜찮더라고요. RTX 4080에서 ik_llama.cpp(CUDA 컴파일)로 돌리면 보통 32k 컨텍스트를 무리 없이 집어넣을 수 있고, 40+ token/초 정도 속도가 나옵니다. 저는 로컬 모델을 코딩 같은 데 안 쓰니까 이 정도면 충분해요. 그런데 Gemma 26b MoE를 TurboQuant로 KV 캐시 압축하고 IQ4 양자화로 갈 수 있을까 싶거든요... 16GB VRAM은 정말 아슬아슬한데, IQ4와 Q4의 품질 차이가 꽤 눈에 띄거든요.