게이밍 미니PC + 외부 GPU로 드디어 실용 속도 달성: Radeon 9060 XT로 25.9 t/s 구현

OpenAI에 매달 돈을 내지 않고 로컬에서 강력한 AI 모델을 돌리고 싶다면? 저도 같은 걸 시도해봤습니다. 게이밍 미니PC(AMD 7840HS, 32GB RAM)에 외부 GPU(Radeon 9060XT, 16GB VRAM)를 연결해서 대규모 언어 모델(LLM)을 실행하는 거죠. 솔직히 llama.cpp는 처음엔 복잡했고 결과도 별로였는데, 새로운 Gemma4 24B A4B IQ4 NL 모델을 시도하니까 25.9 tokens/초에 도달했어요. 이 정도 속도면 실제로 쓸 수 있습니다. OpenCode에 연결해서 제 코드베이스에 대해 질문해봤는데 정말 작동하네요. 로컬 AI에 관심은 있지만 3000달러짜리 고급 설정이 필요하다고 생각했던 분들이라면, 이걸 다시 생각해볼 수도 있을 겁니다.