아래로 당겨서 돌아가기
Gemma 4 26B/31B가 Intel 노트북에서 이렇게 빠르게 돌아가는 게 정상인가요? (288V / CachyOS)

Gemma 4 26B/31B가 Intel 노트북에서 이렇게 빠르게 돌아가는 게 정상인가요? (288V / CachyOS)

Why is Gemma 4 26B/31B running so fast on my Intel laptop? (288V / CachyOS)

1주일 전에 로컬 LLM을 시작했는데, Core Ultra 9 288V에서 Ollama와 LMStudio를 써봤더니 MoE 모델에서 계속 튕기더라고요. 그래서 환경을 직접 처음부터 구축하기로 했어요. OpenVINO가 NPU와 잘 안 맞아서, GPU용 커스텀 Vulkan 브릿지를 직접 컴파일해봤는데 작동하네요? 16k 컨텍스트에서 Gemma-4-26B가 초당 7~12 토큰 속도로 나오는데, 비슷한 하드웨어에서 이 정도 속도를 본 사람 있나요? 아니면 제가 실수로 뭔가 제대로 한 건가요?

키워드

local LLMinference speedIntel Core UltraGPU optimizationGGUFGemma-4performance benchmarking