遊戲迷你電腦配外接顯卡終於跑出實用速度：Radeon 9060 XT 達到 25.9 t/s

想在家裡跑大型語言模型（LLM）又不想每個月付錢給 OpenAI？我最近在玩一個有趣的東西——用遊戲迷你電腦（AMD 7840HS、32GB 記憶體）配外接顯卡（Radeon 9060XT、16GB 顯存）來跑本地 AI 模型。說真的，llama.cpp 一開始用起來有點複雜，我一直得到不理想的結果，但後來試了新的 Gemma4 24B A4B IQ4 NL 模型，終於衝到 25.9 tokens/秒。這個速度其實已經可以用了。我甚至把它接到 OpenCode，用來問我自己程式碼的問題，竟然真的能用。如果你一直想試試本地 AI 但覺得要花 3000 美元才買得起，這個設定可能會改變你的想法。